Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Как выбирать число слоёв в градиентных методах настройки нейронных сетей?

Программирование+4
Анонимный вопрос
  ·   · 10,0 K
Как-то не очень ясно сформулирован вопрос - речь идет, насколько я понимаю о количестве слоев нейросети, для обучения которой, используется метод (с различными вариациями) градиентного спуска.
И если это так, есть еще факторы, которые имеют определяющую роль для выбора архитектуры нейросети (в т.ч. количество скрытых слоев ), прежде всего:
  1. Структура и объем имеющихся данных, на которых предстоит обучать нейросеть;
  2. Тип (топология) сети, которую необходимо выбрать, также исходя из задачи, которую должна решать нейросеть и имеющихся данных для обучения;
Определяя количество скрытых слоев, вы безусловно должны решить связанный вопрос - сколько нейронов будет в каждом скрытом слое.
Однозначного ответа тут (насколько мне известно, конечно, а это увы, не так много) - не существует. Есть лишь общее правило, что чем больше суммарное число связей между нейронами, тем выше способность нейросети к обобщению.
С другой стороны - "слишком глубокая" (для данной задачи) нейросеть – это не просто напрасная трата усилий (и времени) на написание кода, на обучение/настройку параметров – часто слишком глубокая/перегруженная нейросеть хуже обобщает данные и является более восприимчивой к переобучению.
При этом, для сквозного (End-to-End) обучения нейромодели, требуется действительно БОЛЬШОЙ объем обучающих данных для сходимости обучения. Поэтому получая неудовлеторительный результат работы вашей сети, надо учитывать, что возможно, для решаемой задачи недостаточно данных для того, чтобы обучить все слои нейросети и получить функцию зависимости выходных данных от входных.
В общем, "не все так однозначно" /mem/ ))
Учитель - увлекаюсь нейронными сетями, создаю...  · 27 мар 2023
1. Размерность задачи - сложная структура данных  - требует глубокую архитектуру. 2. Размер тренировочного датасета - мало данных, при использовании глубоких архитектур могут привести к переобучению, поэтому  используют меньшее... Читать далее
Я очень рад быть частью этой группы и надеюсь...  · 10 дек 2022
При настройке нейронной сети с использованием градиентных методов одним из важных факторов, который следует учитывать, является количество слоев в сети. Выбор соответствующего количества слоев для нейронной сети может повлиять... Читать далее
Openstack DevOps and IBM/Informix Certified DBA...  · 6 июл 2022
Предложенное ниже носит характер рекомендаций, которые можно попробовать для конкретнных NN. Здесь нет однозначного решения. KerasTuner часто дает информацию для принятия стартовых решений по гиперпараметрам.  1) Один из методов... Читать далее
СТО, Мастер  · 18 февр 2023
Выбор количества слоев в нейронных сетях зависит от нескольких факторов, таких как: 1. Сложность задачи: Если задача является более сложной, то вероятно потребуется более глубокая архитектура, чтобы модель могла изучить более... Читать далее