На самом деле люди помнят огромное количество информации, которой получили в младенчестве. Когда вы были маленьким ребенком, вы научились ходить, говорить, познакомились с миром. Этой информацией вы пользуетесь всю оставшуюся жизнь. Другое дело, что у вас нет воспоминаний о раннем детстве — нет автобиографической памяти. Действительно, она развивается значительно позже в общении со взрослыми. То есть можно сказать, что взрослые учат ребенка помнить о самом себе. А то, что он запоминает автоматически, помнится и так всю жизнь.
На самом деле информация никуда не уходит, она систематизируется в своеобразных модулях, подкастах... вопрос - в её воспроизведении (такое может быть, к примеру, при нештатной ситуации)