Чувства, которые вы описали, достаточно серьезные ,по силе. Предположу, что между вами осталось много не высказанного и скорее всего этому предшествовал ряд неприятных событий. Если это все вас так тревожит - может стоит с ним это обсудить? Найти в разговоре какие то для вас ответы?
если общаться желания и возможности нет, то все равно обсудить это с кем то, умудренным жизненным опытом человеком. Вспомните обстоятельства, поймете причинно-следственную связь, сделаете для себя какие то конструктивные выводы, и эти неприятные чувства исчезнут сами собой.