Хотелось бы уточнить у автора вопроса: влечёт как? Постоянным стремлением, как на источник раздражения (опасности) или в сексуальном плане.
Раздрожитель - это значит опсность в наших чувствах, вот и привлекает внимание. Любой человек вызовет влечение взгдядов, чем более он будет вести себя необычно (подсознательно опасно). Так работают сотрудники компании Эль-Аль, а теперь всех компаний.
А вот если, как объект будующего вожделения, то это, да подругому. Просто негатив, как привлечение внимания и потом замена негатива на приятного собеседника..
Но вопрос интересный. Мы же думаем, что инстинктов у нас нет )
Думаю, дело в том, что в другом вы замечаете какие-то собственные черты характера, которые вам не нравятся в себе. И оттого, что они есть в человеке, который привлекает вас, эти черты злят ещё больше.
Как минимум потому, что активнее других стимулирует реакции других людей на себя и своё поведение, вызывая тем самым на себя внимание и интерес.