Нелинейность времени это литературная метафора.
Мы не знаем что такое время, мы лишь пытаемся его представить как длительность (периодическую) физических процессов из наших опытов.
Предполагая, что для любого покоящегося в своей системе наблюдателя одна тождественна для всех.
Это чисто эвристический подход, но он лежит в основании современной физики.
Всё остальное мы относим к субъективным восприятием нашего сознания. Что такое сознание также не понятно, о нём мы имеем представления только из нашего опыта саморефлексии.
Как и со временем.