Потому что измена - понятие субъективное. Это воспитанный социумом стереотип, которому "поклоняются" в зависимости от воспитания. А также для каждого понятие "измена" своё. Взгляд - измена? Поцелуй - измена? Секс с проституткой - измена? Постоянное желание другого человека - измена? Секс с женой и третьим партнером - измена?
Пример тому - другие культуры, где люди совершенно по-разному относятся к этому понятию.
А также влияет тот факт, что все люди изначально ничем и никому не обязаны. Все свободны и вольны делать то что хотят. Вопрос лишь в том как те или иные действия воспримет общество, в котором они живут. Как пример, если в России вы будете есть собак, то вас возможно даже посадят, а в Корее - нормальный рацион. Или если вы будете изменять в Японии, то там для этого все условия, лишь бы удовлетворить либидо.