Dropout — это метод, при котором во время обучения игнорируются случайно выбранные нейроны. Они «выпадают» случайным образом.
Это означает, что их вклад в активацию нижестоящих нейронов временно удаляется при прямом проходе, и никакие обновления веса не применяются к нейрону при обратном проходе. По мере обучения нейронной сети веса нейронов устанавливаются в соответствии с их контекстом в сети. Веса нейронов настроены на определенные функции, обеспечивающие некоторую специализацию. Соседние нейроны начинают полагаться на эту специализацию, что, если зайти слишком далеко, может привести к хрупкой модели, слишком специализированной для обучающих данных. Эта зависимость нейрона от контекста во время обучения называется сложной коадаптацией.
Вы можете себе представить, что если нейроны случайным образом выпадут из сети во время обучения, другие нейроны должны будут вмешаться и обработать представление, необходимое для прогнозирования отсутствующих нейронов. Считается, что это приводит к тому, что сеть изучает несколько независимых внутренних представлений.В результате сеть становится менее чувствительной к удельному весу нейронов. Это, в свою очередь, приводит к тому, что сеть способна к лучшему обобщению и с меньшей вероятностью будет соответствовать обучающим данным.
==================================
Dropout — это метод регуляризации, который предотвращает переобучение нейронных сетей. Методы регуляризации, такие как L1 и L2, уменьшают переобучение, изменяя функцию стоимости. Dropout, с другой стороны, модифицирует саму сеть. Он случайным образом удаляет нейроны из нейронной сети во время обучения на каждой итерации. Когда мы отбрасываем разные наборы нейронов, это эквивалентно обучению разных нейронных сетей. Различные сети будут переобучать по-разному, поэтому чистый эффект отсева будет заключаться в уменьшении переобучения.Доказано, что этот метод уменьшает переобучение для множества проблем, связанных с классификацией изображений, сегментацией изображений, встраиванием слов, семантическим сопоставлением и так далее.