Нет. Это Ваш выбор, с кем общаться. Наоборот, такой поступок будет выглядишь честнее. Человек поймёт, что Вы не желаете с ним общаться и не будет докучать.