Если бывший парень хочет испортить мои отношения, что делать?

Мы расстались не так давно из-за моих чувств к другому человеку. Они оказались взаимными и я сейчас с ним в счастливых отношениях. Но мой парень — друг моего бывшего. Когда мы расставались, мой бывший был очень зол. Дело в том, что мы уже расходились и он от злости стал рассказывать всем моим друзьям, что мы уже перепробовали. Мне стало стыдно и я слёзно умоляла его прекратить это. В итоге мы тогда снова сошлись, но это уже были несчастливые отношения. Пока он не знает, что мы встречаемся, но в скором времени узнает и я не хочу, чтобы он попытался разрушить мои отношения рассказав, «что я такая плохая и вообще сплю со всеми». Что делать в такой ситуации? Ждать, пока он меня забудет, не получится, ведь в прошлый раз он издевался надо мной полгода.