Потому что вы его боитесь, не смотря на то, что вы думаете
Объективных причин бояться их всех у меня ведь нет
Тем не менее, эти причины есть. Здесь под "страхом", который и запускает вашу панику, могут быть разные причины. Они не осознаваемы пока вами, но они точно есть.
Например, вам бы не хотелось=вы боитесь, что он может рассказать что-то из ваших отношений. Возможно, что вы чего-то стыдитесь. Возможно, что у вас остались какие-то чувства к нему и вы "боитесь" что можете "выдать" себя и начинаете волноваться, опасаться, вести себя не естественно при нем.
Причины такого вашего состояния вам лучше поискать с психологом лично. Потому что, мы , здесь отвечающие, строим только гипотезы.