Поскольку за вас я решение принимать не могу, попробую порассуждать на тему вашего вопроса.
В отношениях всегда бывают конфликты. Они необходимы для того, чтобы люди научались преодолевать трудности вместе, искать решения, компромиссы, возможности. Оттачивать способы взаимодействия, учиться новому - допускать свои недостатки и не доказывать ничего другим, уживаться с чужими недостатками, ценить достоинства и их видеть в первую очередь. В этом смысле каждый человек для нас является своего рода тренажером. А уже вы принимаете решение, стоит ли его "Использовать" и трудиться над тем, что для вас пока не входит в зону устойчивых навыков.
В конфликтах никогда не бывает виноват один. Вы пишете что хотите расстаться с другом из -за его характера, однако возможно и в вашем характере есть нечто, что не позволяет найти общий язык с другом.
Вы сформулировали вопрос в форме "Или Или". А что, если попробовать найти вариант, при котором удастся и сохранить друга и перестать раниться о его характер?