Их много разных. Если вас интересует, какие есть в Юникоде, то это блоки U+2200–U+22FF, U+2A00–U+2AFF, U+1D400–U+1D7FF, U+2100–U+214F, U+27C0–U+27EF, U+2980–U+29FF, U+2300–U+23FF и др.
Если вас интересует история математической нотации, то по некоторым основным символам и формам записи см.
Cajori Florian. A History of Mathematical Notations (Two Volume in One). Cosimo 2011.
Вообще, Florian Cajori написал несколько книг по истории математики в доступной форме.