Правильно ли говорить «любимая жена (или муж)»? Получается, будто у тебя их несколько, а вот эта конкретно любимая из них.

Правильно, потому что в данном случае люди используют это слово именно как причастие, образованное от глагола "любить", а не как прилагательное. То есть, подразумевается следующий смысл: "любимая мной жена", "любимый мною муж".