Потому что память развивается совместно с мышлением и речью, а мышление и речь как раз и формируются к трем годам. Все просто. Но до этого времени память у ребенка все-равно присутствует: он узнает лица, например.