Уверена, что мой ответ многим не понравится. Однако я уверена в том, что скажу. Если человек вам не подходит, плохо на вас влияет и так далее, старайтесь с ним реже общаться.
Если это в колективе, то дистанцируйтесь, отвечайте коротко, неразвернуто, демонстрируйте свою занятость, загруженность и отсутствие времени для общения.
Если это друг, то прекратите дружбу. Говорите, что нет времени на встречи, в разговорах переходите на неинтересные ему темы. Постепено разойдитесь с этим человеком.
Самое сложное, если такой человек - член вашей семьи. Тогда прекратить общение невозможно. Однако на помощь придут альтернативные способы связи. Если вы не живете в одном доме, то помогут мессенджеры. При письменном общении влияние на вас родственника будет менее заметно. Переписывайтесь. Отсылайте голосовые сообщения. То есть не допускайте полноценного диалога. Разнесите во времени свои и его реплики. Тогда связь, которая доставляет неудобства, станет ослабевать.
Удачи!