Метрика — это то, что мы на самом деле хотим минимизировать или максимизировать. При этом метрики бывают очень разными. Есть продуктовые метрики (например, доход), которые можно косвенно оптимизировать с помощью машинного обучения. Впрочем, в курсах по ML чаще всего речь идёт об обычных офлайн-метриках, с помощью которых мы понимаем, хорошо ли решена задача.
Так, для измерения качества решения задачи бинарной классификации можно использовать долю правильно классифицированных объектов (accuracy), точность, полноту и так далее. Но перечисленные выше метрики обладают одним досадным недостатком: они не дифференцируемы, и их нельзя оптимизировать напрямую. Нам же очень хочется свести задачу к оптимизации какого-то хорошего функционала — так и появляется функция потерь.