Когда человек вступает в какой-то новый этап своей жизни, например, у него юбилей или он выходит на пенсию или дети съезжают, то вольно или невольно начинает задумываться о своей жизни, о том, что было или могло быть. Происходит некоторая переоценка достижений, ценностей. В круговорот мыслей, с этим связанных, могут попадать воспоминания о, как может казаться, упущенных возможностях. Ведь возможность жизни с другой женщиной сулила другие перспективы. А вдруг лучше?
Должно быть, в ответ на возникшую фантазию жизни с той девушкой, появились какое-то чувство, которое, как бы, не должны возникать, ведь есть искренняя любовь к супруге. Но оно возникло, а потом возникли и мысли о том, что так быть не должно, что это неправильно. От чего стало стыдно.
Вывод. Волнует, потому что возникли некие чувства на фантазию.
Это интерпретация на основе воспринятой мной информации в описании. Я могу ошибаться.