Основная идея машинного обучения - выдача корректного результата на наборе статистических данных НЕ математическим методом с возможностью дообучения.
Под "Не математическим методом" подразумевается алгоритм, который высчитывает значения весов до тех пор, пока погрешность между полученным значением на выходе функции и корректным ответом не станут идентичны или очень близки друг к другу.
Набор данных - это те данные, где каждая единица информации близка по типу и/или смыслу другой единицы информации. Например, изображения с рукописными цифрами, изображения с животными, аудиокниги с определенной тематикой, комментария.