Стоит или нет - решать только вам, ибо лишь вы можете знать ценность этого человека лично для вас. Это во-первых. Во-вторых, совершенно очевидно, что вы в недоумении и не можете понять его мотивов. То, что точно поможет вашим взаимоотношениям - разберитесь с ним вдвоем по-честному. Расскажите о своих ожиданиях, мыслях и спросите у него, что чувствует он. Даже если ничего в итоге не получится, на душе станет спокойнее. Это способ наверняка. Еще можно поспрашивать его друзей, коллег, родню - может быть, причина такого отношения к вам кроется в его окружении.
Не получится, увы. Вы только из раза в раз будете делать друг-другу всё больнее. Увы, по этой причине нам пришлось расстаться с невестой. Сделайте усилие над собой и оставьте друг-друга. Тяжело, но со временем вы поймете, что так лучше.