Так научились себя вести. Привычка.
У кого-то, кто также себя вел или вак кто-то сказал так делать и вы делаете. И это могло превратиться в привычку и стать базовым поведением (условно закрепленным).
Есть еще вариант - есть знания о том, чем это может быть чревато:
- кто-то узнает о том, что вы чувствуете на самом деле;
- кто-то может неправильно истолковать ваш взгляд;
- это помогает избежать чего-то, например, ответственности за свои слова или за ощущения от ваших слов у собеседника (по глазам же все видно, обычно) и др.