Не отпускает откуда? Или куда?
Он Вас где-то запер? где-то держит? )
Ваш парень вообще не причём. Причина Вашего внутреннего напряжения - исключительно Ваша неадекватная трактовка реальности, заставляющая Вас саму возводить вокруг себя несуществующие стены.