Короткий ответ: Deep learning - это продвинутая версия нейронных сетей.
Длинный ответ:
Принцип работы в статистике - это брать входные данные и соединять их в одно уравнение, которое должно дать необходимый ответ:
Как входные (x), так и исходные (y) данные можно просто собрать из реального мира, поэтому основным вкладом статистики является конкретно это уравнение G(xb). Чем оно точнее, тем ближе предсказание к реальной величине. Выражаясь математически: G(xb)~y, а в идеале мы хотим иметь G(xb)=y.
Вот пример: узнать зарплату человека (y), если вы знаете его возраст (x1), пол (x2), образование (x3) и опыт работы (x4).
Однако, дело в том, что в стандартной статистике две очень важных проблемы:
1. Теоретическая валидность. Чтобы создать даже самую базовую линейную версию уравнения G(xb) нужно, как минимум, 5 теоретических свойств данных (см. теорему Гаусса-Маркова).
2. Точность. Стандартные модели очень хорошо предсказывают средние значения, но не настолько точны, как этого требует 21-й век.
Нейронные сети придумали давным давно ещё в 40-х, но начали активно применять относительно недавно. Идея в том, что нужно добавить несколько слоёв между входными и исходными данными:
Нейронные сети привнесли три важных вещи:
1. Больше данных. Оказалось, что если у вас в руках находится очень много данных, то можно наплевать на теорию, и все свойства, необходимые для мат. анализа, работают сами по себе.
2. Точность. Из-за того, что данных очень много, предсказания стали намного точнее.
3. Теоретическая валидность. К началу 90-х выяснилось, что, оказывается, если точно подобрать количество и размер слоёв, то можно вообще любое на свете уравнение заменить нейронкой (см. теорема универсальной аппроксимации).
Вот пример: нужно компьютеру показать фотку человека, и он должен понять - это мужчина или женщина. Входные данные (x) - это все пиксели на фотке. То есть, на одной фотке, сделанной на айфоне, есть 12 миллионов пикселей. Данные, как вы видите, большие.
Вначале, нейронка очень часто ошибалась, но инженеры долго работали над ней и, в конце концов, нашли решение: нужно тупо сделать огромную нейронную сеть с сотней слоев и тысячами нодов (h). Дип Майнд/Гугл/Майкрософт потратитили очень много денег на оборудование и на разработку алгоритмов, и они оказались правы: сейчас, гугл распознаёт не только ваш пол, но и вашу личность только по лицу или по голосу.
Так вот, deep learning - это нейронка с огромным количеством слоев.
Вот примерно как на этой фотке, но ещё больше.