Если все и обо всём предполагать, то это будет не реальность, а сплошная фантазия.
Почему бы об этом не сказать? "Знаешь, твоя шутка для меня совсем не смешная, мне не приятно слышать такие вещи, ты мог бы в таком ключе не шутить (про меня) при мне? " и т. п.
Ну а если этот человек вам не дорог, не близок, то действительно, можно и держаться подальше.