Старший разработчик компании Google.
Основная спец... · 16 сент 2021
Сигмоида переводит интервал от минус бесконечности до плюс бесконечности в (0, 1), что позволяет интерпретировать результат как вероятность и использовать метод максимального правдоподобия для обучения.
Сигмоиды не насыщаются от сильных сигналов. Что это значит? Пусть у нас есть объекты в одномерном пространстве. Объекты нулевого класса - (-1000, -1000, ... , -1000) - всего 100 штук, а объекты первого класса - (-999, 1000, 1000, ..., 1000) - тоже 100 штук. То есть можно разделить объекты, например, по границе -999.5. Однако если решать эту классификационную задачу линейной регрессией (никогда не делайте так), то алгоритм скажет, что границу нужно проводить в нуле, так как большое количество объектов в экстремальных значениях (-1000 и +1000) окажут на функцию ошибки существенно большее влияние, чем один элемент в точке -999. А в случае использования сигмоиды такого не происходит - влияние правильно классифицированных объектов на функцию ошибки крайне мало.
Градиенты сигмоид очень удобно выражаются через саму функцию, что сильно упрощает практическое применение на практике. В логистической регрессии в качестве сигмоиды используется логистическая функция f(x) = (1 + e^(-x))^(-1). А её градиент f'(x) = f(x) * (1 - f(x))
Сигмоида нужна, чтобы ответ модели гарантированно был больше нуля и меньше единицы. Это позволяет интерпретировать ответ как вероятность, и применять функцию потерь, основанную на вероятности (cross entropy, она же log... Читать далее
В задаче логистической регрессии - модель, прогнозирования вероятности события путём его сравнения с логистической кривой. Эта регреcсия выдаёт ответ в виде вероятности бинарного события (1 или 0).
Задача бинарной... Читать далее