Если невязка в решении ожидается достаточно малой, а функция без особенностей, то линеаризацией.
Грубо говоря, вычисляем (или оцениваем) матрицу Якоби в точке приближения, решаем линейную задачу, получаем следующее приближение и т.д.. К примеру, в библиотеке NAG для этого есть E04FCF(), для Python есть пакет dfogn.