Вам дали дельный совет разобраться в себе и задать себе ряд вопросов, так как никто лучше, чем вы, все тонкости проблемы не знает. Но я позволю себе вкинуть три самых распространённых варианта в подобных ситуациях (так как, мягко говоря, проблема не уникальна).
Страх. Вы не идёте получать все плюшки от общения, потому что есть риск, что вам нанесут урон и сделают больно. Не буквально. Криво посмотрят, с недоумением поднимут брови, похихикают, проигнорируют и применят другие возможные "душевные" уколы, которые ранят вас. Выбирая между "получить прелести общения" и "остаться в целости и сохранности", вы выбираете второе, подъедая вкусные крошки от общения в статусе слушателя. Вас понять можно. Но здесь уместна пословица "Волков бояться - в лес не ходить".
Неспособность поддержать разговор. Например, если собрался круг автолюбителей, обсуждающих двигатели, то необходимо иметь базу знаний, чтобы принять участие в беседе. Это словно беседа на другом языке. Для этого нужно знать язык (что логично). Сюда же относится реальная беседа на другом языке. Сюда же относится малознакомая компания, обсуждающая незнакомых людей.
Нежелание быть вовлечённым в беседу этой компании. Тоже не ваш случай (иначе бы этот вопрос не появился на сайте).
Позволю предсказать, что у вас проблема №1. Внимательно проанализируйте проблему, и начните двигаться в сторону её решения. Это не особенность личности, это не "фишечка", это не: "Я просто интроверт". Это баг, это недоработка в личностном развитии, из которой вытекает тьма минусов (которые, я думаю, вы и сами уже начали замечать).
А вы точно психолог?