Показатели производительности являются частью каждого конвейера машинного обучения. Они говорят вам, если вы делаете успехи, и ставят число на нем. Все модели машинного обучения, будь то линейная регрессия или метод SOTA, такой как BERT, нуждаются в метрике для оценки производительности.
Каждую задачу машинного обучения можно разбить на регрессию или классификацию, как и показатели производительности. Для обеих задач существуют десятки метрик, но мы собираемся обсудить популярные, а также информацию, которую они предоставляют о производительности модели. Важно знать, как ваша модель видит ваши данные!
================
Если вы когда-либо участвовали в соревнованиях Kaggle, вы, вероятно, заметили раздел оценки. Чаще всего есть метрика, по которой они оценивают вашу работу.
=================
Метрики отличаются от функций потерь. Функции потерь показывают меру производительности модели. Они используются для обучения модели машинного обучения (с использованием какой-либо оптимизации, такой как градиентный спуск), и обычно они дифференцируемы по параметрам модели.Метрики используются для мониторинга и измерения производительности модели (во время обучения и тестирования) и не обязательно должны быть дифференцируемыми. Однако, если для некоторых задач метрика производительности дифференцируема, ее также можно использовать как функцию потерь (возможно, с добавлением к ней некоторых регуляризаций), например MSE.
Смотрите также
1️. Функции потери Keras: все, что вам нужно знать
️2. Функции PyTorch Loss: Полное руководство
- Понимание функций потерь GAN
Метрики регрессии
Регрессионные модели имеют непрерывный вывод. Итак, нам нужна метрика, основанная на вычислении некоторого расстояния между предсказанной и истинной правдой.
Чтобы оценить модели регрессии, мы подробно обсудим эти показатели:
Средняя абсолютная ошибка (MAE),
Среднеквадратическая ошибка (MSE),
Среднеквадратичная ошибка (RMSE),
R² (R-квадрат).