С точки зрения человека - индивидуалиста - ужасно то, что будет какой-то ресурс, который придется делить с другим человеком. В данном случае речь идёт о муже. Интересно, а вопрос многомужества вас не интересует? Ведь на самом деле, тот же самый вопрос, и зависит это только от культуры общества, от его морали и стандартов. Вы не спросили только про многоженство именно из-за вашего шаблона поведения. Второй вариант, когда придется делить одну девушку, вас, вероятно, не привлекает. Чувство собственника - это первый, древний аспект проблемы.
Плюс ограничение вводилось религией. В средние века религиозные институты выполняли роль образовательных и медицинских учреждений. При отсутствии беспорядочных контактов, в случае классической, в нашем понимании, семьи, вероятность развития эпидемии заболеваний, передающихся половым путём - минимальна. Это я о предпосылках относительно поздних, приведших к моногамии.
Ну а так, если совместным проживанием все стороны будут довольны - почему нет? И зачем ограничиваться моделью 1 - N, можно перейти к N - N.