Почему некоторые люди в конфликтах используют твои комплексы против тебя и как на это отвечать?

Если коротко, то потому что могут. Могут и будут, ровно столько, сколько позволить. Глупо на такое жаловаться. Почему он.. Почему вы, терпите подобное, к себе, отношение? Комплексы надо изживать, а не носиться с ними как с писаной торбой. В вашем случае и конкретно этот, путем выработки жизненного позитива. За телом, надо следить. Холить его и лелеять. Что можно, улучшить, остальное принять. Не для того мамы рожают, что бы им кто-то оценки ставил.
А уныние - смертный грех. Чувствительность, это не комплимент и честное ее название - обидчивость. И с этим надо что-то делать, иначе хлопот не оберешься.
Надо чаще улыбаться. Добавить в жизнь немного самоиронии. Немного самоуважения. Надо радоваться. Каждому прожитому дню. Дурных людей надо бросать. Это ведь ваша жизнь. И если не жить ее самой, это будет делать кто-то другой. Всегда. Придет, сядет на голову, свесит ножки и начнет погонять так, как ему надо.
Устанавливайте собственные правила. Делайте это с умом, и будет вам счастье.