Чисто математически отличие принципиальное. Если упрощённо, то при определении "расстояний" в пространстве-времени знаки у временнОй координаты и у пространственных РАЗНЫЕ. Обычно "расстояние" записывают следующим образом: ΔS² = cΔt²-Δx²-Δy²-Δz².
Как видите у времени знак (+), а у остальных координат знаки (-). Но можно записать и наоборот, (-) у времени, (+) у остальных. В каком-то смысле можно сказать, что временнАя координата является "мнимой", в отличие от пространственных.
Но совершенно точно можно сказать, что математика и геометрия НИКАК не объясняют почему время является однонаправленным и невозможно "путешествовать в прошлое". Это уже вопрос к физике, вероятно к квантовой. Например, к такому загадочному явлению как "коллапс волновой функции".