Конечно все зависит от того, в каких вы отношениях, во время разговора или конфликта это происходит.
В любом случае, из того, что я поняла, могу сказать то, что пристальный взгляд напрягает любого человека. И часто бывает такое, что человек выгоняет из кабинета не потому что вас боится, а себя. Он боится, что устроит истерику или скандал. И старается сохранить лицо.
Вопрос в другом - зачем вы на него так смотрите? Что вы хотите ему доказать? Проблема думаю есть в вас, раз вас это травмирует и у вас есть желание в превосходстве над ним.