Тому есть много причин, связей с нормальным распределением и т.п. Но основная, потому что в линейном случае задача минимизации наименьших квадратов отклонений (МНК) имеет самое простое аналитическое решение: AT*Ax = ATy, которое достаточно легко вычислить.
Так же для МНК легко вычисляется оценка ковариационной матрицы ошибок или другие оценки.
Аналитическое решение задачи минимизации суммы модулей отклонений (МНМ), обычно, более сложно. А вычислительно, МНМ часто можно свести к итеративному решению МНК с весами.
Квадратичная мера намного лучше и удобнее. Например, прекрасно пользоваться уравнением TSS=ESS+RSS и подобными.
Кроме того, мера - а МНК, это МЕРА расстояния, - гладкая, то есть диффеоенцируема, более того, дважды, 2НД. ПРОСТО СЧАСТЬЕ!!