Если "ничего не было кроме дружбы", то скорее всего накатывает память о старом, возможно думаете о том "что бы было" и т.д. Но если вы на данный момент у вас в отношениях все хорошо, то скорее всего стоит первую любовь оставить таковой - хорошей, доброй и в мечтах. Стройте свою жизнь с тем человеком, что рядом с вами и не переживайте из-за таких вещей.
А что, если с партнером уже несколько лет? А дружба с другой девушкой была не в детстве, а уже в зрелом возрасте?