Давайте разберёмся, что управляет нашим поведением, в том числе, в отношениях. И здесь ответ очевиден - на нас постоянно с разной интенсивностью воздействуют чувства и переживания. Поступки человека во многом определяет совокупность сил, которые воздействую в виде эмоций, желаний и чувств.
Конечно, рациональная составляющая тоже присутствует во внутреннем мире человека. Но чем сильнее чувства и эмоции, тем больше они берут управления в свои руки.
Кстати и рациональная часть завязана на нашем самоощущении. Чтобы сделать нечто рациональное, нужно от этого действия ощущать позитивное эмоциональное подкрепление, а уж ни как не внутренне сопротивление.
Так вот в Вашем случае на Вас воздействует две противоположные силы, что приводит к внутреннему конфликту. Это видно из следующей цитаты:
Мне его становится жалко, я думаю о том что вроде как все хорошо, но у меня нет чувств и постоянно вспоминаю те моменты когда человек мне делал больно, он меня раздражает, хочу расстаться, но как только вижу слёзы становится его жалко…
С одной стороны на Вас давит раздражение за его прошлые поступки. Это раздражение побуждает уйти. С другой - жалость. Она побуждает остаться. Векторы этих эмоций направлены в разные стороны.
Если Вы хотите уйти Вам нужно переступить через жалость. Что повлечёт за собой, возможно длительно, шлейф неприятных переживаний. Вряд ли молодой человек бросит свои попытки вернуться сразу. Так что жалость, воспоминания того, как было хорошо будут появляться снова и снова. К этому может добавиться чувство вины.
К тому же не факт, что у Вас сразу появятся другие отношения. Тогда ещё может начать давить желание быть с мужчиной или ощущение одиночества. Но это не обязательно, как повезёт.
Иными словами, чтобы уйти Вам нужно научиться встречаться лицом к лицу с неприятными переживаниями и их нейтрализовывать. При чём проделать это придётся не один раз!