Я в своей коуч-практике "Человек-матрёшка" (которую можно желающим пройти) показываю, что в человеке есть, условно говоря, три порога реагирования: животный, эмоциональный и интеллектуальный. Это вызвано и примерно соответствует алгоритму работы мозга: стволовых структур, лимбической системы, неокортекса.
Ваше Животное прямого зрительного контакта избегает - это знак агрессии и провокация к конфликту.
Ваше Эмоциональное также смущается прямым зрительным контактом, так как опирается на целый ряд псевдорациональных аргументов: "это неудобно", "это не принято" и так далее.
Единственный адекватный вариант поведения в этой ситуации - поведение Интеллектуального, которое знает и понимает (в отличие от Животного и Эмоционального), что прямой взгляд в глаза - выражение заинтересованности в собеседнике, демонстрация внимания к нему и потребности максимально точно понять и оценить смысл того, что он говорит и делает.
Как только Вы приобретете привычку сдерживать животные и эмоциональные алгоритмы реагирования, и сосредоточитесь на интеллектуальных - всё наладится.