Почему некоторые люди пугают одним общением?

Скорее всего, это субъективные особенности вашей психики: от природы предпочитаете покой и тишину. Либо вы чем-то сильно перегружены (общением, информацией, деятельностью и т.п.) так, что уже не можете воспринимать дополнительные звуковые/зрительные информационные потоки.
Возможно также, что вы просто приболели, не выспались, переутомились.
В любом случае вам лучше прислушиваться к себе и найти определенный баланс, эдакую золотую середину между общением с активным поглощением информации и покоем с характерной для него тишиной, а также элементарный баланс работы и отдыха.
Если вы просто от природы не переносите подобных людей, то существует много способов избавиться от надоедливых собеседников и прочих раздражителей, никого при этом не обижая и не причиняя вреда.