В целом, всё верно. Здоровые личные границы - это прекрасно. Однако, они не должны становиться неприступной крепостью.
Возможно, имеет смысл не резко ограничивать общение, а говорить о том, что Вам неприятно, задевает, не хотелось бы. У всех границы разные, и то, что для Вас ненормально, другими может так не восприниматься. Но! Им достаточно об этом сказать. И вот если реакция у человека нормальная и он принимает Вашу информацию к сведению, и далее корректирует этот момент в общении с Вами, то он понял и принял Ваши границы - и это прекрасно! Так как это про уважение и качественное общение. Но как об этом узнать, если резко оборвать?
Другое дело, если человек посмеялся. Тогда, наверное, ему всё равно, и можно спокойно ограничивать общение.