Вы же не от вещи избавляетесь.
Поговорите с человеком, расскажите ему, что не устраивает вас, что хотели бы поменять.
Если вы не сможете найти компромисс, то разойтись. Особенно, если это ваш близкий человек.
Меньше обращаться и со временем прекратить общение