Потому что когда мужчина стал "жертвой" девушки, в которую влюбился - то это просто взаимовыгодные отношения. Мужчина получает общение с женщиной своей мечты и что-то отдаёт взамен. Что-то материальное.
Если же девушка влюбляется, а потом в результате развода/разрыва отношений она несет материальные убытки - то это формулируется как "брачные аферисты" :)