Вышла первая версия полезного дополнения ControlNet. Это набор инструментов, расширяющих возможности при генерировании изображения по текстовому описанию или по графическому источнику. Дополнение представляет собой несколько разных фильтрующих моделей. Они используются как промежуточные ступени для тонкой настройки генерации.
Описание на английском:
ControlNet позволяет повторять позу человека, сегментировать сущности, создавать контурные маски, маски глубины пространства. В будущем появится модель коррекции анатомического строения конечностей.
Работает так: до генерации добавляется промежуточное изображение, на которое ссылается модель. Конечный результат зависит от распределения коэффициентов влияния текстового запроса (либо графической основы) и промежуточного графического источника.
Видео с короткими обзорами на английском:
На русском: