Сложный вопрос.. Только если убрать понятие времени, то и не будет понятия расстояния. В таком случае вся наша вселенная будет выглядеть как точка (одномерное пространство) или как единый шар, сжатый до максимальной плотности (трехмерное пространство).
Отсюда сделаю свое скромное предположение о том, что именно так и выглядит четырехмерное пространство, как мы его проживаем.
А всю ту ересь, которой занимаются математики, расчитывая двадцатимерные пространства, лучше выбросить из головы