Если бы все другие люди "вели себя как хотят" и совершенно не волновались по этому поводу, не только психологам было бы нечего делать, но и многочисленным преподавателям риторики, ораторского искусства и актёрского мастерства :)
Это, разумеется, никакой не "невроз". Это просто волнение.
Я бы написал "с которым Вы не можете справиться", но для этого нет оснований. Может, и не можете. Может, и невроз. Просто пока ничто на это не указывает. Вы пишете только, что волнение есть, и что по этому поводу Вы тоже волнуетесь. Во время разговора.
Следовательно, волнение вызвано либо самим процессом вербального взаимодействия, либо Вашим предощущением его последствий.
Вероятно (но не обязательно), сказывается детский опыт.
Дополнительно волнение и страх усиливаются внешней борьбой с ними (стремлением их скрыть) — а также незнанием, насколько это удалось. Вы оказываетесь зависимы от внешней оценки, а её нет.
Отчасти потому, что Вы сами её избегаете.
Из этого отнюдь не следует, что Вы не можете справиться с волнением внутренне. Вы просто толком не пробовали, скорее всего.
Так же скорее всего Вы с лёгкостью перестанете волноваться в случае явной негативной оценки, наезда, ясно выраженного нежелания с Вами говорить (допустим, разговор вынужден).
Тут "скорее всего" тоже означает "не наверняка, но вероятно".
Пробуйте.
То есть, конечно, если Вы всё же хотите справиться с волнением и страхом, а не только их "не показывать". Второе чуть сложнее.
Само по себе волнение при разговоре естественно и полезно. Так что когда я говорю "справиться", это не значит "убить навсегда". Это значит "волноваться в меру".
В ту меру, которая Вас устроит
Не получится — обращайтесь :)
Пока что незачем.