Высказывания друг другу не противоречат. Логично, что если вы не общаетесь больше, то Вас нет в жизни того человека, а его в Вашей. Но по факту если Вы хотели продолжить общение, а человек его прекратил, то выражение пойдет только для самоутешения.
Но моя мама всегда говорит, что всё, что не делается, всё к лучшему. Поэтому пусть этот человек идёт лесом!) Ещё встретится человек, который оценит Вас по достоинству.