Доводилось. Уже на следующий день приходило осознание, что что-то тут не так.
Прежде чем обрывать связь следует поговорить с человеком, объяснить ему что вас беспокоит, возможно он примет к сведению и больше не будет вас раздражать. Ну а если нет то обрывайте смело.