Линейная алгебра: коллега Скайлер Спикман недавно сказал, что «Линейная алгебра - это математика 21 века», и я полностью согласен с этим утверждением. В ML линейная алгебра встречается повсюду.
Такие темы, как анализ главных компонентов (PCA), разложение по сингулярным значениям (SVD), собственное разложение матрицы, LU-разложение, QR-разложение / факторизация, симметричные матрицы, ортогонализация и ортонормализация, матричные операции, проекции, собственные значения и собственные векторы, векторные пространства и нормы. необходимы для понимания методов оптимизации, используемых для машинного обучения. В линейной алгебре удивительно то, что существует так много онлайн-ресурсов. Я всегда говорил, что традиционный класс умирает из-за огромного количества ресурсов, доступных в Интернете.
=========================================
Теория вероятностей и статистика: машинное обучение и статистика - области не очень разные. На самом деле, кто-то недавно определил машинное обучение как «ведение статистики на Mac». Некоторые из фундаментальных статистических теорий и теорий вероятностей, необходимых для ML, - это комбинаторика, правила и аксиомы вероятностей, теорема Байеса, случайные переменные, дисперсия и ожидание, условные и совместные распределения, стандартные распределения (Бернулли, биномиальные, полиномиальные, равномерные и гауссовские), момент Производящие функции, оценка максимального правдоподобия (MLE), априорная и апостериорная оценка, максимальная апостериорная оценка (MAP) и методы выборки.
=========================================
Многовариантное исчисление: некоторые из необходимых тем включают дифференциальное и интегральное исчисление, частные производные, функции векторных значений, направленный градиент, гессианское, якобианское, лапласианское и лагранжевое распределение.
Алгоритмы и сложные оптимизации: это важно для понимания вычислительной эффективности и масштабируемости нашего алгоритма машинного обучения, а также для использования разреженности в наших наборах данных. Требуются знания структур данных (двоичные деревья, хеширование, куча, стек и т. д.), Динамического программирования, рандомизированных и сублинейных алгоритмов, графиков, градиентных / стохастических спусков и первично-дуальных методов.
=========================================
Другое: сюда входят другие математические темы, не охваченные в четырех основных областях, описанных выше. Они включают в себя реальный и комплексный анализ (множества и последовательности, топология, метрические пространства, однозначные и непрерывные функции, пределы, ядро
Коши, преобразования Фурье), теорию информации (энтропия, получение информации), функциональные пространства и многообразия.