Просто следует осознать ошибочность своего убеждения, что этот человек находится "в Вашей жизни".
Он находится в "своей" жизни.
А впустить или отпустить его Вы можете из своей квартиры, например.
Привычка рассматривать "свою жизнь" как некий "загон", в котором Вы собираете нужных Вам людей, или как некий сарай, в котором Вы складируете нужное Вам имущество, как раз и приводит к ментальным проблемам вроде описанной Вами.
Вам куда лучше подойдёт метафора собственной жизни как дороги - долгой, красивой, интересной - на которой Вам периодически будут встречаться разные люди. Некоторым из них какое-то время даже будет с Вами по пути, что и надобно с удовольствием использовать )