Скорей всего, вы подсознательно ощущаете свою ущербность в сравнении с окружающими, то есть, по-вашему, вы в чём-то хуже(хотя это не обязательно так) и пытаетесь проявить превосходство в чём-то. Европейски ориентированные люди склонны к вежливости(если, конечно, в них специально не культивировалось обратное свойство), а долго глядеть в глаза кому-нибудь невежливо. Те, кому вы бросаете вызов, вероятно, вовсе не слабее вас, не трусливей, они всего лишь воспитанней, но отводя взгляд, они дают вам возможность возвыситься в собственных глазах.
Если вы решитесь перебороть в себе эту смешную и нелепую привычку, но вам трудно постоянно чувствовать себя худшим, попробуйте представлять, что вы, например, умеете быстрее чем окружающие читать вслух, различаете больше цветов, в конце концов, способны держать в ладони лёд дольше всех - это может дать вам чувство превосходства и излечит.