А кому нужны эти отношения?
Если только вам, то выход через дверь. Продолжение таких отношений будет приносить вам страдания.
Если и мужчина тоже хочет сохранить эти отношения, то надо разбираться в причинах недоверия и устранять их. Этому может поспособствовать семейный психолог.