Элементарно - не бояться. Другого ответа не вижу. Если тот человек не боится найти замену, потерять это общение, то смысл вам переживать. Он же не переживает. А переживать за двоих это путь в никуда, долго так не протянете. Не бойтесь потерять, свое не уйдет, а что ушло то чужое.
Спасибо вам!