Просто пропадают что бы не нагружать оперативную память нашего мозга. К счастью наш мозг достаточно мощный и сама игра очень хорошо оптимизирована, настолько хорошо что заметить подгруздку текстур когда поворачиваешь голову, просто напросто невозможно.
Согласно теории компьютерной симуляции они пропадают и облегчают работу оперативной памяти нашего мозга(как сказано выше). Действительно, пока невозможно это доказать. Поэтому это всего лишь теория.