Что такое «паралич» сети, и как его избежать?

В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях OUT, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть — такая ситуация называется «параличом сети».
Теоретически эта проблема изучена плохо. Обычно пытаются уменьшать размера шага, но это увеличивает время обучения. Различные эвристики использовались для предохранения от паралича или для восстановления после него, но пока что они могут рассматриваться лишь как экспериментальные.

Один из способов предотвратить «паралич» сети — сокращение весов (weight decay).

Данный метод является частным случаем регуляризации некорректно поставленных задач по А. Н. Тихонову. Идея заключается в ограничение роста абсолютных значений весов. Добавим к минимизируемому функционалу штрафное слагаемое:

Изменение функционала приводит к появлению аддитивной поправки градиента:

При этом правило обновления весов принимает вид:

Преимущество метода в том, что он очень просто реализуется, сочетается со многими функционалами и многими градиентными методами оптимизации. Кроме предотвращения «паралича» сети, этот метод повышает устойчивость весов в случае мультиколлинераности — когда имеются линейно зависимые или сильно коррелированные признаки. Дополнительный управляющий параметр τ должен обеспечивать компромисс между устойчивостью весов и настройкой на конкретную выборку.