Каждый математический метод опирается на определённую математическую модель, некие правила, которым должны соответствовать данные. Если данные не соответствуют требованиям, не используйте данный алгоритм, иначе за достоверность результата никто не поручится.
Тут можно много говорить, чего не надо делать. Выборка должна быть представительной, народ постоянно анализирует единичные данные, строит регрессии, делает прогнозы. Одно известное лекарство, не буду называть, которое постоянно назначают при ОРВИ, выборка на которой тестировалось лекарство 32 человека! Одни деятели оценивали качество данных по 3 сигмам, хотя данные не соответствовали нормальному распределению, но их это не смущало, забраковали всё! Некоторые инструменты требуют стационарности данных, ага, да конечно, кто их на это проверяет! Ищут корреляцию между физически независимыми величинами, и находят же, между добычей нефти в Ханты-Мансийском округе и удоями коров под Рязанью. Если не нравится корреляция, просто убираем все экстремальные значения без объяснения причин и работаем с "хорошими" данными. И т.д. и т.п.