Несколько вариантов:
1. Боитесь, что вас отвергнут
2. Боитесь стыда (оказаться социально неадекватным или некомпетентным)
3. У вас просто гиперчувствительная нервная система, и вам сложно даётся любая эмоциональная стимуляция
Что делать - в зависимости от причины. Переосмысливать старый опыт и приобретать новый, либо найти свою меру общения и людей, с которыми комфортно.