Потому что он не женился.
Элио - ребенок 16 лет (ему только-только исполнилось 17), который в своих фантазиях создал образ идеального мужчины и им оказался Оливер. Элио не осознавал ещё те опасности, с которыми мог столкнуться в Италии 80-х (вспомните хотя бы смерть/казнь Пазолини).
Вслушайтесь в финальную речь отца - он четко говорит, что он с Оливером созванивался, как минимум 1 раз. О чем они говорили - не известно, но можно предположить, что в том числе и на тему случившихся отношений. Поэтому, как мне кажется, произошел сговор между Оливером и отцом Элио.
Если совсем углубляться - отец говорил про старую влюбленность. У меня в этот момент возникло ощущение, что отец Элио был влюблен в Оливера в более юном возрасте. Это достаточно малоубедительно, но вполне может вписываться в рамки истории: сын повторяет историю отца.
То же вопрос!