Для написания математических формул обычно используют TeX. Есть какое-то достаточно большое число js-плагинов, которые умеют отисовывать его в браузере. Можно поискать по "TeX to HTML plugin". Например, блиотека MathJax. Пример.
В некоторых браузерах поддерживается стандарт MathML, либо его поддержки можно добиться, включив в страницу плагины, например, всё тот же MathJax.