Если именно физический, то, например, так. Вот представьте, что у вас есть некое радиоактивное вещество, причём, скорость его распада в текущий момент времени такова, что если бы она оставалась постоянной, то вещество полностью распалось бы через некоторое время. Так вот, из-за того, что скорость распада постоянно уменьшается, через это время вещество не распадётся полностью, а его количество уменьшится в е раз.
Лучший ответ по сути вопроса!
Интересно и другое - связь числа Е с Пи и с Ф (золотое сечение)
По-видимому, физический смысл математических констант {e, pi, log2(e)} возникает только при наличии таких понятий, как {время = движение, пространство, информация = материя}, соответственно.