Недостаток общения с родителями.
Наша способность запоминать события связана со способностью формировать понятия (понятие - мысль, выделяющая и обобщающая предметы некоторого класса по общим и в своей совокупности специфическим для них признакам). А умение сформировывать понятие тесно связано с языком.
Поэтому если родители мало общаются с ребёнком, называя ему словами происходящее с ним и вокруг него, у ребёнка его ощущения и переживания не связываются в понятия и не откладываются в воспоминаниях.
В доречевой период воспоминания есть только в виде телесных ощущений.
Соответственно, воспоминания начинают откладываться тогда, когда у человека формируется связка "мои ощущения + слова, которыми эти ощущения называются". Ну а чем больше человек усваивает грамматических форм и логических связок между предметами и событиями, тем насыщеннее становятся его воспоминания.