Странноватый вопрос, честно говоря…
Что Вы имеете в виду под словами "отказаться от человека"?
Как можно отказаться от того, кого любишь больше всего? )))
Вероятно, можно отказаться использовать этого человека в своих интересах, если таковая невротическая установка у Вас ранее присутствовала…
Но это психолог может только приветствовать: если Вы отказались использовать человека, и сочли возможным просто продолжать его любить…)