Спросить у него, зачем он это делает. Обсудить. Объяснить, что для вас это доставляет дискомфорт. Выставить границы вашего общения. Объяснить, что будет, если он продолжит эти границы нарушать (изначально для себя сначала определить итог нарушений ваших границ).
А вообще, здесь бы хорошенько подумать: зачем вам нужны такие нездоровые отношения (а это явно про нездоровые отношения) и готовы ли вы терпеть это дальше, если ничего он в своем поведении не изменит?