Подробное изменение картинки в процессе обработки её нейронной сеткой с применением алгоритма градиентного спуска - можно посмотреть в видео и в картинках, приведённых в статье здесь.
Обучающие образцы (изображения) передаются по нейронной сети в качестве специально подготовленных изображений, и выходные данные, полученные от сети, сравниваются с фактическими данными. Эта ошибка используется для изменения веса нейронов таким образом, чтобы ошибка постепенно уменьшалась. Это делается с помощью алгоритма обратного распространения ошибки, также называемого обратным распространением. Итеративная передача пакетов данных по сети и обновление весов для уменьшения ошибки называется "стохастический градиентный спуск" (SGD). Величина, на которую изменяются веса, определяется параметром, называют «Скорость обучения».
Сеть прямого распространения применяет к входу ряд функций. Имея несколько скрытых слоев, мы можем вычислять сложные функции, при помощи более простые функции. Наиболее широко используемый скрытый блок — это тот, где функция активации использует выпрямленный линейный блок (ReLU). Выбор скрытых слоёв — очень активная область исследований в машинном обучении. Тип скрытого слоя отличает разные типы нейронных сетей, такие как CNN, RNN и т.д. Количество скрытых слоев называется глубиной нейронной сети.
Используя интерактивную платформу от Google, которая представляет собой веб-приложение, вы можете создавать простые нейронные сети с прямой связью и видеть эффекты обучения в реальном времени. Вы можете поиграть, изменив количество скрытых слоев, количество нейронов в скрытом слое, тип функции активации, тип данных, скорость обучения, параметры регуляризации и т.д.