Потому, что это ваше субъективное восприятие, основанное на представлении и аналогиях. Лично я никакой стрелы не наблюдаю. И совершенно не уверен, что можно сказать - "вперёд" по отношению к ходу времени.
По моему разумению время распространяется во все стороны, Причём, неравномерно. Например , фотоны - переносчики электромагнитного излучения, вообще время не воспринимают. Рядом с большими массами время замедляется, в недрах чёрных дыр оно вообще никуда не идёт.