Здравствуйте! Как у вас все лихо закручено - совместный дом с любовником, да тут еще и его жена предъявляет свои права) Как я понимаю его участие в строительстве дома обозначено только денежными переводами, которые он вам перечислял, то есть он может потребовать возврата этих денег путем доли в имуществе или путем возврата перечисленных вам денег (неосновательное обогащение). Но, доказать в суде, что он является собственником дома будет крайне сложно, следовательно его жене ничего не светит, так как в данном случае совместно нажитого с мужем имущества де-юре нет.
Мой ответ достаточно общий, так как не знаю важные обстоятельства, например: зарегистрирован ли объект недвижимости в Росреестре и на кого получены документы о праве собственности.