Ну, например, потому, что мы склонны осуждать этих людей за те поступки, которых мы бы никогда не сделали. Можем не отдавать себе отчёта в этом, но всё равно возникает какое-то несогласие. Иногда причиной может послужить зависть, подсознательная. Да и просто человек не похож на вас и пытается все ваши точки зрения отрицать и опровергать, как вам кажется. Вот и возникает неприязнь.