Для начала можно его спросить прямо, шутка это или серьезно. Если шутка, то есть смысл сказать ему, что вам такие шутки не приятны, они вас пугают. Можно попробовать узнать, зачем именно ваш молодой человек вам такое говорит. И уже на основании всей этой информации делать выводы о том, подходит ли он вам или лучше прекратить отношения.
Дело в том, что в момент знакомства мы практически ничего не знаем о другом человеке и многое себе придумываем о нем, чтобы как-то обосновать сознательно те эмоции, которые возникают по отношению к нему. И чем сильнее возникшие эмоции, тем больше мы придумываем. Если мы начинаем отношения, то дальше мы все больше узнаем друг о друге. И часто новая информация совсем не соответствует тому образу, что мы выстроили внутри себя. И тут есть варианты, как с этим быть: можно игнорировать эту информацию, чтобы не рушить идеальный выдуманный образ, можно принять ее, встроить в сложившийся образ, а можно (если информация сильно противоречит) принять информацию и полностью разрушить придуманный образ и начать выстраивать постепенно реальный, основанный только на том, что мы реально узнаем о человеке. В первом варианте, мы остаемся незнакомцами по сути и состоим в отношениях не с реальным человеком а со своей иллюзией о том, кем и каким он является. В последнем - есть возможность выстроить отношения с реальным человеком и это будет настоящая близость или вовремя понять, что вот с таким человеком вам совсем не хочется быть в отношениях совсем или именно в близких отношениях. И только вы сами выбираете каким путем пойдете. Сейчас вы узнали какую-то информацию, которая сильно противоречит вашему чувству влюбленности, но которую вам трудно игнорировать. Вы можете обесценить ее и проигнорировать (это просто шутка, ничего важного не происходит), а можете узнать больше и понять, что пока вы очень мало знаете о том, в кого влюблены и попробовать познакомиться с ним реальным или, по мере того как будете его узнавать, вы поймете, что в этого, реального, вы совсем не влюблены и хотите держаться от него подальше.