Не знаю, почему конкретно у Вас так, но так бывает. Возможно из-за явного или неявного страха получить негативную оценку от собеседника, а может, из-за боязни нарушить какую-то установку из детства, когда вам говорили, что перед другими нужно выглядеть идеально. Преодолевается довольно легко, если понять сам принцип. Специально, намеренно, осознанно, сделайте всё неправильно. Попробуйте не понравиться собеседнику. Поднимите верхнюю губу, чтобы обнажить зубы. Это делает лицо отталкивающим. Громко высморкайтесь и т.д., сами придумаете. И тогда Вы увидите, что хозяин ситуации Вы, а не обстоятельства