Это рост энтропии от одного состояния (прошлое) до некоторого спектра (будущее).
В электромагнитных процессах (с участием фотонов), действительно, направления времени неразличимы. Так для фотона и времени нет, оно стоит на месте при скорости света.
А вот в слабых взаимодействиях направления во времени отчетливо различаются.
При обращении реакции с излучением нейтрино получается не поглощение нейтрино, а В НАШЕМ НАПРАВЛЕНИИ ВРЕМЕНИ излучение антинейтрино.
Оба процесса - прямой и обратный - с излучением, то есть, с увеличением числа частиц и их состояний. А "в прошлое" означает поглощение как нейтрино, так и антинейтрино, опять же - два взаимно-обратных процесса (энтропия тогда уменьшается).
Итак, "наше" направление во времени:
1) энтропия растет
2) Вселенная расширяется
3) Вселенная при этом состоит из протонов и электронов, а не из антипротонов и позитронов, из чего следует, что существовал момент, когда ЧАСТЬ НЕЙТРИНО РАСПАЛОСЬ НА W+ БОЗОНЫ И ЭЛЕКТРОНЫ, А БОЗОНЫ РАСПАЛИСЬ НА ПРОТОНЫ И ДРУГИЕ АДРОНЫ
4) процессы слабого взаимодействия идут преимущественно с излучением нейтрино и антинейтрино, число частиц во Вселенной растет.
Просто "из прошлого в будущее" нельзя линейно заменить на "из будущего в прошлое" - это расширение числа состояний. Любой объект в своей собственной системе отсчета и при движении в прошлое, с точки зрения внешнего наблюдателя, будет двигаться в свое будущее, поэтому число возможных следствий все равно для него будет расти (из чего следует, что в свое прошлое он не попадет даже при полном обращении своего времени и превращении в античастицы).