Когда человек едет в автомобиле, то его лицо, как правило, обращено в ту сторону, куда он направляется. Когда человек идёт, то он тоже смотрит вперёд. Вполне логично, что с годами такое направление считается правильным и при попытке смотреть назад, у многих людей может возникнуть дискомфорт. Это может привести к некоторому головокружению, поскольку привычная картинка за окном изменилась на непривычную. Пожилые люди, как правило, консервативны и не очень радостно воспринимают перемены.
Кстати, где-то читал, что если мать носит ребёнка на боку (на своём бедре), то после того, как дитё научится ходить, его мозг может не перестроиться... что, якобы, может плохо отразиться на его эмоциональном/умственном развитии.
Я не бабушка и даже не дедушка, но меня сильно укачивает, если я сижу не по направлению движения. Всю жизнь так было, и в три года, и в двадцать три.