Уходить с работы имеет смысл, если эта работа наносит ущерб психическому или физическому здоровью больше того ущерба, который принесет Вам увольнение с этой работы.
Есть люди, для которых сложные отношения на работе "смерти подобны" даже, не смотря на то, что новую работу бывает трудно найти. Таким стоит (в рассматриваемой ситуации) уволиться.
Есть люди, которые панически боятся потери социального статуса "работающего", боятся поисков работы, боятся потери денег, боятся нового коллектива и так далее. Таким (в рассматриваемой ситуации) стоит терпеть, искать пути выхода из конфликта, приноравливаться и так далее.
Правильный ответ знаете только Вы. Никто не подскажет Вам, как лучше поступить.