Трансформеры позволили создать языковые модели, которые наглядно демонстрируют адаптивность и универсальность в работе с текстами. Теперь стоит задача расширить подход на задачи не словесные, а физические: манипуляции роботов с объектами в материальном мире. Пока такие роботы не очень справляются с новыми задачками и неожиданными ситуациями.
Подход работает:
в DeepMind создали модель RoboCat, у которой с гибкостью все заметно лучше. Она лучше лучше прежних адаптируется к новым типам робоустройств и новым задачам.
“RoboCat’s ability to independently learn skills and rapidly self-improve, especially when applied to different robotic devices, will help pave the way toward a new generation of more helpful, general-purpose robotic agents,” - заявляют разработчики.
Так что ловкость в обращении со словами потихоньку дополняется ловкостью в обращении с предметами: от узкоспециализированных роботов переходим к относительно универсальным, а в словарик наряду с foundation models добавляем foundation agents 🙂