В свое время, специально для математических задач был разработан язык Fortran (FORmula TRANslator). Язык хорош тем, что обладает заранее готовой библиотекой всевозможных математических функций, например решить дифуравнение одним приказом компьютеру или вроде того, где требуется численные методы вычисления. Язык прост для изучения, поскольку кроме математики ничего особенного не умеет и всяких наворотов в нем нет, вроде рисования окошек и менюшек на экране.
Как вариант может подойти язык "С". Он вообще-то очень мощный для всех совершенно компьютерных задач - работы с диском или передачи данных по сети. Он в целом сложнее и требует профессионального опыта и образования программиста. Но можно изучить только математическую часть, и он будет не труднее фортрана.
Что нужно знать? Изучить один из этих языков.
Современные псевдоязыки, вроде java или python вряд ли подойдут, поскольку очень медленные и вообще не заточены под математические задачи.