Правильно. Гордость - это Ваша самооценка и некий внутренний голос. С большой вероятностью Вы знаете, что если что-то сделаете в угоду человеку, то он начнёт манипулировать Вами. И это действительно так. Каким бы хорошим человек не был, но захочет попробовать этим воспользоваться.
Позволять гордости - нет. А вот позволять здравому смыслу - вполне да. Если отношения явно действуют на вас подавляюще, деструктивно, не учитывают ваших интересов или каким-то поступком доказали свою несостоятельность, то это верный путь.