Могу немного дополнить ответ выше. Зачастую, и даже чаще всего, экспонента в физике возникает не как решение диффура, а как руками заданная функция.
Пример из астрофизики: вам нужно описать распространение ударной волны в плазме. Естественно, вам нужно каким-то образом задать функцию, локализованную в пространстве, т.е. имеющую на коротком промежутке большой пик. Для упрощения дальнейших расчетов легче всего взять какую-нибудь "хорошую", интегрируемую функцию в качестве профиля плотности. Вот и берут экспоненту, так как она быстро затухает, имеет характерную длину затухания, хорошо интегрируется и т.д..
С другой стороны у экспоненты есть замечательное свойство: при умножении двух экспонент их показатели складываются. В чатности это оказывается полезным в квантовой теории поля, где используются т.н. T- упорядоченные экспоненты в качестве операторов. В показателях таких экспонент находятся некие интегралы от Гамильтониана системы. Например, если в показателе одной такой экспоненты у вас есть интеграл от t1 до t2, а в показателе другой - от t2 до t3, то в результате перемножения таких экспонент у вас будет экспонента с показателем, где интеграл от t1 до t3 (по правилу сложения интегралов). В частности, так можно задавать оператор эвоюции квантовой системы.
Также экспоненты используют благодаря всойству их производной, а именно (e^ax)' = a e^ax. Таким образом физики, например, из группы строят т.н. алгебры Ли (экспоненциальное отображение), которые очень и очень нужны в современной теории поля.