🔥 Microsoft и NVIDIA
объединили свои усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 миллиардов параметров. Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день.
Для сравнения, самая известная современная языковая модель разработки OpenAI GPT-3 включает 175 млрд параметров. При этом, как утверждают разработчики, MT-NLP обеспечивает «непревзойденную» точность при выполнении широкого набора задач естественного языка, таких как:
▫️Предсказание завершения текста по смыслу;
▫️ Понимание прочитанного;
▫️ Генерация логических выводов;
▫️ Создание заключений на естественном языке;
▫️Различение смысла слов с несколькими значениями.
Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.
На графике ниже тенденции изменения размеров современных NLP-моделей с течением времени 👇