Куда девается время, если оно имеет физическую природу?

Если перевернуть Ваш тезис, то будет верное высказывание. Все, что имеет физическую природу, исчезает в никуда, и появляется из ниоткуда. В философской интерпретации это называется циклическим соотношением ничто и нечто, а шире Небытия и Бытия.
Не совсем понятно, что значит "время имеет физическую природу". Ведь физические процессы весьма разнородны. Есть микромир, макромир и мегамир, соответственно и происходящие там преобразования, их последовательности выглядят по-разному. Например, в вакуумно-подобных (сингулярных) состояниях время дискретно, характеризуясь минимальной, планковской величиной. А в космологических растягивается на миллиарды лет. Физические процессы могут ветвиться, что можно, используя понятие времени, обозначить как его многоканальность (многомерность).
Что касается исчезновения времени, то это скорее метафора, чем реальность. Ведь время существует не само по себе. Это всего лишь понятие, отражающее те или иные метаморфозы с разными явлениями, объектами, системами, то есть их существование. С исчезновением конкретной системы (завершением ее существования), образно говоря, исчезает и её время. Посмотрим на облако, плывущее по небосводу. У него есть форма, направление движения, определенная скорость перемещения. Мы можем отследить его путь до той поры, пока оно не растворится без остатка. Куда исчезло время этого физического объекта? Его не стало, ибо не к чему применить данный термин. Конечно, здесь есть одна логическая уловка, переводящая внимание с объекта малого масштаба на бОльший. Ведь и небо осталось, и космос. Но это совсем другие системы, имеющие свой срок существования.