Почему некоторые люди в конфликтах используют твои комплексы против тебя и как на это отвечать?

Очень часто мой молодой человек использует в наших ссорах какую-то информацию, которую я ему рассказала, чтобы он меня поддержал. За последний год от меня отвернулось много близких друзей и я осталась почти 1. Меня эта тема очень задевает, потому что я человек достаточно общительный и чувствительный. Но мой парень в конфликтных ситуациях может сказать, какая я одинокая, осталась без друзей. При этом я никогда не упоминаю против него такие темы. Если он что-то мне рассказал, то я никогда это не поверну против него. Ещё у меня уголки глаз смотрят вниз всегда, поэтому в обычном состоянии моё лицо выглядит достаточно грустно. Я очень комплексую из-за этого, но молодой человек постоянно в порыве агрессии говорит, как его достало моё постоянно грустное лицо. И говорит он как раз о моих опущенных глазах. Почему человек использует такие больные темы в конфликтах, как на это реагировать и можно ли это изменить?