Скорее всего если собеседник может пугать вас одним общением, то возможно у вас разные препочтения в обсуждении тем. Так же возможно, что при ситуации, когда вам кажется ваш собеседник слишком энергичным и вы чувствуете дискомфорт от общения с ним, то у вас возможен некий стресс или же усталость, при которой вашему мозгу поступают раздражимые сигналы не только от энергичного поведения собеседника, но и в целом от всех его действий, вплоть даже до его присутсвия.