Можно сказать, что мы живём в почти таком мире, как описан в вопросе. За тем исключением, что время всё-таки движется только вперёд.
В физике есть такое понятие, как пространственно-временной континуум. Это физическая модель, которая представляет из себя дополняющую связь существования пространства и времени. Если пространство можно определить, как среду, в которой может существовать материя, то время - эта та характеристика среды, при которой свойства материи изменяются. При этом время имеет относительность.
Быстрее скорости света в вакууме (299 792 458 м/с) пока ничто не разгонялось, по крайней мере "на глазах" у людей. Тем не менее ничто не запрещает любому объекту попробовать достичь этой скорости. А вот тут возникает ещё одно интересное следствие. Если какой-либо объект обладающей массой начнёт разгон финальной целью, которого будет достижение скорости света, то чем быстрее он будет двигаться, чем ближе он будет подбираться к скорости света, тем больше начнёт становиться его масса и тем сильнее он будет вытягиваться в длину. В принципе математически это может длиться бесконечно. Масса и длина устремятся в бесконечность, а объект будет всегда отставать от света. 99,9999999...% скорости света и так до бесконечности, но никогда не достигнет света, просто будут добавляться 9 после запятой. Если отступить от математики и идеальных условий и подключить здравый смысл и реальный мир, то в определённый момент объект достигнет такой массы и так вытянется, что просто не сможет существовать и развалиться на атомы. Но при ускорениях и замедлениях происходит ещё кое-что. Для объекта замедляется и ускоряется время. Надо понимать, как это происходит. Он не начинает двигаться, как в замедленной съёмке, окружающий мир для него, также вряд ли сильно изменяется. Но все процессы его существования замедляются, замедляются на квантово-механическом уровне. И что главное замедляются относительно объекта, который движется с более низкой скоростью. Для более быстрых объектов он лишь "догоняет" течение их времени. То есть время имеет, как бы свойство, как бы "разгоняться" и как бы "замедляться" для систем отсчёта с массой, относительно друг друга. Отсюда также можно понять, что скорость и время также имеют связь более глубокую, чем кажется на первый взгляд. Но при этом в природе, вероятно есть некая постоянная скорости-времени, ниже (медленней, если угодно) которой объекты двигаться, существовать не могут.
А если представить мир, в котором время, само по себе или также в зависимости от объектов наблюдения, может менять вектор, то такой мир неизбежно столкнётся с парадоксами. События, которые произошли в прошлом, отражаются на настоящем, при этом одновременно с этим в прошлом происходят события, которые не дают тех условий настоящему и будущему, при котором были возможны первоначальные изменения настоящего. Также надо понимать, что наш мир существует здесь и сейчас, нет никакой матрицы, на которой были бы записаны события прошлого и будущего, а мир в котором время не обладает вектором, должен быть непременно основан на этой идеи, и как следствие в таком мире было бы всё предрешено. Если есть некое будущее, в которое можно хотя бы раз переместиться или появиться, то после того, как время вернётся назад эта вариация будущего где-то должна сохраниться. А в мире где всё предрешено, даже скачки времени предрешены, и мир приобретает форму клетки, симуляции чего-либо. С нашем миром такого не наблюдается, поэтому нам повезло, мы сами творим своё будущее. Фильм "Назад в будущее" хорошо иллюстрирует такие частные парадоксы. А доктор Браун постоянно боялся вызвать глобальный парадокс всей Вселенной своим изобретением.
А что касается до остановки времени, то такой мир ещё сложней представить, ведь наш мир неразрывно связан с движением времени, будет разумно подумать, какова была связь времени, скорости и пространства до Большого Взрыва, тогда, возможно будет нечто похожее на "мир", в котором время не имеет вектора.
Из всего этого следует, что мир в котором царит временной хаос, просто не смог бы существовать, и возможно даже зародиться. Парадоксы имели бы такой сильный вес, что не дали бы зародиться самим законам природы.
Выше написанный комментарий написан, видимо, без малейшего желания разобраться в проблеме и с весьма низкими знаниями в этом направлении, поэтому советую не воспринимать его всерьёз. А чтобы мои знания восприняли всерьёз, я подкреплю их ссылками на научные источники: