Выборка - Работа с недетерминированными процессами
Вероятность составляет основу выборки. В машинном обучении неопределенность может возникать по-разному — например, из-за шума в данных. Вероятность предоставляет набор инструментов для моделирования неопределенности. Шум может возникнуть из-за изменчивости наблюдений, ошибки измерения или из-за других источников. Шум воздействует как на входы, так и на выходы.
Помимо шума в выборочных данных, мы также должны учитывать влияние систематической ошибки. Даже когда выборка наблюдений однородна, т. е. при выборке не предполагается систематическая ошибка, другие ограничения могут привести к систематической ошибке. Например, если мы выбираем набор участников из определенного региона страны, по определению. выборка смещена в эту область. Мы могли бы расширить охват выборки и дисперсию данных, включив больше регионов страны. Нам нужно сбалансировать дисперсию и смещение, чтобы выбранная выборка была репрезентативной для задачи, которую мы пытаемся смоделировать.
Как правило, нам предоставляется набор данных, т. е. мы не можем контролировать процесс создания и выборки набора данных. Чтобы учесть это отсутствие контроля над выборкой, мы разделяем данные на обучающие и тестовые наборы или используем методы повторной выборки. Следовательно, вероятность (через выборку) задействована, когда у нас есть неполный охват проблемной области.
============================
Распознавание образов
Распознавание образов является ключевой частью машинного обучения. Мы можем подойти к машинному обучению как к проблеме распознавания образов с байесовской точки зрения. В книге «Распознавание образов» Кристофер Бишоп придерживается байесовской точки зрения и представляет приблизительные алгоритмы вывода для ситуаций, когда точные ответы невозможны. По тем же причинам, перечисленным выше, теория вероятностей является ключевой частью распознавания образов, поскольку она помогает учитывать шум/неопределенность и конечный размер выборки, а также применять байесовские принципы к машинному обучению.
============================
Обучение - использование в оценке максимального правдоподобия
===========================
Многие методы итеративного машинного обучения, такие как оценка максимального правдоподобия (MLE), основаны на теории вероятностей. MLE используется для обучения таких моделей, как линейная регрессия, логистическая регрессия и искусственные нейронные сети.
Разработка конкретных алгоритмов
Вероятность лежит в основе конкретных алгоритмов, таких как наивный байесовский классификатор.
============================
Оптимизация гиперпараметров
В моделях машинного обучения, таких как нейронные сети, гиперпараметры настраиваются с помощью таких методов, как поиск по сетке. Байесовская оптимизация также может использоваться для оптимизации гиперпараметров.
===========================
Оценка модели
В задачах бинарной классификации мы предсказываем один показатель вероятности. Методы оценки модели требуют, чтобы мы суммировали производительность модели на основе предсказанных вероятностей. Например, меры агрегирования, такие как потери журнала, требуют понимания теории вероятностей.