Потому, что существует несимметричность слабого взаимодействия. Упрощенно: потому, что в прямом процессе излучается нейтрино, к примеру, а в обратном, вместо того, чтобы поглощалось нейтрино (с фотоном именно так, симетрично), - ИЗЛУЧАЕТСЯ АНТИНЕЙТРИНО.
Они обе излучаются и практически не поглощаются.
Отсюда:
1) Направление времени для нас - это путь к состоянию, в котором больше число нейтрино/антинейтрино относительно числа частиц обычного вещества.
2) Вперед во времени для нас - это туда, где энтропия больше (больше частиц и больше общее число сочетаний)
3) Вперед во времени для нас - это вещество и нет антивещества (нейтрино порождает электроны и W+ бозоны, то есть - нейтрино порождает вещество, антинейтрино порождает антивещество)
4) Вперед во времени - это преобладающее направление вращения (спиральность нейтрино, а не антинейтрино)
Насчет "стрелы времени" еще одно соображение. Для античастиц стрела времени противоположна. По СРТ теореме (то есть той, при которой самый несимметричный в природе процесс слабого взаимодействия удается изобразить как симметричный) - античастица это частица, отраженная в зеркале, движущаяся назад во времени и поменявшая заряд на противоположный.
Поэтому позитрон это электрон, когда он движется назад во времени.
А поскольку есть стрела времени и в основном все вместе идут вперед во времени, антивещество - это исключение из правила.
Так, что, "стрелы времени" две. Но мы на одной из них. Как и Земля теоретически может вращаться двумя способами, но в одном из двух.
Что неудивительно. Время (интервал времени) измеряется периодическими процессами. В примитивном механическом изображении - вращением, угловой скоростью (90 градусов это три часа, 180 градусов это 6 часов и т.д.). А угловая скорость это ПСЕВДОСКАЛЯР она имеет два направления при одном значении (пять оборотов в секунду при вращении по часовой стрелке и пять оборотов в секунду при вращении против часовой - надо в противоположные стороны рисовать спин). В более сложном варианте у времени надо учитывать еще и плотность времени, то есть, энергию. Тогда надо измерять не время, а момент количества движения, произведение времени на энергию (или произведение массы на скорость и на радиус). А момент количества движения это ПСЕВДОВЕКТОР. То есть, тоже два спина.