Зачем нужны методы решения линейных регрессий вроде машины опорных векторов, основанные на обучении?

Прежде всего потому, что не все задачи в жизни линейные, и не всегда лучшее деление пространства образцов - это деление плоскостью.

Поэтому в ряде задач намного эффективнее методы машинного обучения, выполняющие нелинейное деление, такие как деревья решений или нейронные сети.