Может потому что они очень страшные, волосатые, имеют дурную славу, а некоторые к тому же еще и ядовиты?
Ко всему молва приписывает им весьма дурную славу. Например один из них чуть не погубил невинную и гостеприимную героиню стихотворения "Муха-цокотуха". Этот и подобные случаи естественно не могут не вызывать некоторого отторжения.