Проблема может быть в том, что эта фраза выступает как стоп-слово. В контексте естевственно конкретного разговора. Тот чей грустный рассказ хочет дальше повествовать, может такой казалось бы сухой фразой, воспринять это как отмазку от дальнейшего общения. Не считаю, что это фраза ужасна. Бывает самому становится так грустно от рассказа, что проговариваешь это как будто и для себя. Так же, такое говорят, когда не могут и не знают чем помочь, не все любят и могут копаться в чужих проблемах. Все зависит от интонации еще, ощущения от фразы. А вот если сказали "не ной", это уже звоночек, что ваш рассказ ну никак не резонирует, а раздражает.
Полностью поддерживаю, «не переживай»=«не чувствуй».