Как вообще может раздражать прошлое? Тем более, если сам понимаешь, что такого не повторится? Возможно, тут включается неуверенность в себе...
Лично я вообще не задумываюсь о прошлом какого-то человека. Тем более если речь идёт о девушке. Для меня это как чистый лист, в который я записываю положительные и отрицательные аспекты данной личности. Она сама покажет на что способна. Нет, конечно, если куча источников сообщает всякие нехорошие вещи, то это неплохой повод задуматься.