Если опираться на физиологические механизмы, то это всё работа феромонов - гормоноподобных веществ, которые обеспечивают химическую коммуникацию между особями одного вида. У животных на этом построено большинство социальных коммуникаций. У человек это тоже осталось, но уже не главенствующим механизмом. Информация о полученных феромонах не доходит до сознательной обработки, потому что конечный пункт (который производит анализ и синтез поступившей информации) сенсорного канала находится в подкорковых структурах, а вся волевая, "осознанная" обработка у человека осуществляется корой больших полушарий. Так и выходит, что информация о том, что за особь перед нами стоит уже получена, человек нас раздражает, а почему - ответить себе не можем, потому что это всё произошло непроизвольно :)
А как быть, если человек с первого взгляда вызывает бешенство у большого числа своих знакомых? Я одного такого знавал.