Почему я чувствую панику при виде конкретного человека?

Привет! То что вы описываете называться работа здоровой психики, в том плане то что так это и должно работать. И каждый здоровый человек на вашем месте так же бы себя чувствовал.

Вот что именно происходит: 

У нас у всех есть такая штука как восприятие. Это некое мнение о мире, ситуации, обо всем с чем приходится сталкиваться по жизни.

Если вы когда-то давно попали в очень неприятную ситуацию, вы эту ситуацию восприняли как опасную для вашей жизни, например вас кто-то прилюдно отвергал, показывал какая вы плохая и вам казалось вокруг, то что так все думают. Или там например на вас кто-то физически нападал и считал вас плохой. Пережив что-то подобное вы этот момент запомните и сделаете выводы, в экстремальных ситуациях это обычно очень быстро происходит. В следствии вы выделили для себя какие-то критические параметры этой ситуации и уже в будущем и настоящем что-то похожее начинает всплывать, вы новые ситуации воспринимаете так же как тогда в первый раз (по критическим параметрам происходит переход), вы переносите ту же самую оценку ситуации, что и тогда давно. После этого у вас появляется страх, такой же как и тогда в первые. Вот после этого вас начинает трясти. Тряска в теле это адреналин, вы его ожидаете конфликта и ваше тело приготовилось к нему. 

Вы можете осознать свой страх, если вы видите именно тот момент, когда это чувство появляется (вспомнив ту ситуацию где вы видите ребят). В этот момент вы спросите себя, чего я боюсь сейчас, чего я ожидаю, какую опасность? Что я думаю сейчас произойдет? Отвержение публичное? На меня нападут? Я им не нравлюсь? И так далее. Вы увидите этот момент в своем сознании.

То есть вы ситуацию воспринимаете для себя как опасную, в результате испытываете эмоцию страха, выделяется адреналин и поэтому вас трясет именно от адреналина в вашей крови.

Вы описываете - не могу с собой сделать: одолевает дикое чувство страха, паника, мысли путаются. Через пару минут начинает трясти — сначала руки, потом будто всё тело. - тут еще элемент есть такой-то что вы пытаетесь уйти от своего страха, и скрыть его чтобы другие не видели, это еще больше добавляет ему силы, поэтому такая интенсивная реакция идет.

Но если пересмотреть ситуацию, поменять к ней свое восприятие, то вас трясти не будет, вы просто перестанете воспринимать эту ситуацию как опасную и в результате перестанете бояться ее.