Есть теория "прошлого четвергизма", которая выдвигает предположение о том, что вы и весь мир вместе с вашими воспоминаниями о нем появились в прошлый четверг. Так вот, эта и все подобные теории - просто фантазии, требующие огромного числа допущений.
Наше понимание прошлого действительно связано с нашим восприятием действительности, но это не делает его менее реальным. Все, что вы помните, действительно когда-то было. Просто мы в физике понимаем время немного иначе, потому что нам так нужно для решения задач.