Я в роли арт директора с нейросетью Stable Diffusion
Лонг для тех, кто устал от генерации одинаковых красивых диджитал людей и арт интерпретации своих себяшек, и хочет сделать с помощью нейросети что-то еще, возможно более применимое в работе и творческом процессе.
Это уже моя вторая статья про использование нейросетей, ИИ, нейронок и генераторов в творческом процессе иллюстратора и графического дизайнера. Так как информации очень много и она разная, структурированно рассказать все про нейронки за раз или за два не получится. Самое главное, обращаю ваше внимание, я говорю со стороны художника и иллюстратора, который хочет приручить ИИ и превратить его в мощный вспомогательный инструмент в работе.
В этом лонгриде работы сделаны с помощью Stable Duffusion на сборке AUTOMATIC1111. Stable Diffusion Portable: вот отсюда:
В дальнейшем постараюсь раскрыть тонкости работы с другими популярными нейронками и покажу результаты тестов.
На вводном и полезном, что бы снять часть вопросов закончу. Двинем дальше по моим размышлениям.
Теперь у меня в паплайне работы над проектами появились нейронки. Мне для раскачки идей и воображения сначала хочется зайти в нейронку и ввести запрос там, а не в поисковик по картинкам для создания мудборда с референсами. И самое класное то ощущение прилива больших идей и решений на первой волне, когда появляются первые варианты генераций, нейрока имеет свое видение и как буд-то бы подсказывает мне разные не всегда очевидные, но интересные решения.
В прошлой статье я рассказала о создании стикерпака в чиби стиле. Так же поделилась полезными ссылками по Stable Diffusion.
Но нейронки могут в разные стилевые направления и хочется протестировать их все. Хорошо получается объяснить им имитацию какого именно традиционного материала хочется получить. Самый на данный момент не интересный и сложно получаемый материал - это техника цветных карандашей. Но я думаю, в ближайшее время у меня получится победить и этот запрос. Возможно надо будет попробовать натренировать нейронку на моих карандашных работах.
В этот раз будет парочка стилей, в основном связанных с моей нежной любовью к акварели, цветам и паттернам.
Акварель в Stable Diffusion.
Для работы в таком стиле я скачала дополнительную модель (чекпоинт), которая была натренирована на работы одной популярной художницы Rachel Walker,
которая создает как раз такие экспрессивные работы акварелью. Но при этом если приноровиться к этой модели, регулировать силу эффекта, можно полностью уйти в другую стилистику с меньшим количеством разводов и пятен или наоборот указать слово "abstraction" и деталей будет меньше, а разводов и пятен больше; так же можно регулировать цвета их колличество, яркость, насыщенность и контрастность. Что по сути уже создает другие уникальные вариации.
Важный моментом является все же анатомическая верность объектов, пропорции и соблюдение основных законов композиции и перспективы (в случаях с пейзажами), если нет иной задумки. В этом помогают несколько фишек и инструментов контроля над результатом в SD:
- начинать с генерации для изначального запроса просто фотореалистичных изображений нужного объекта, с понравившимся результатом иду в Img2img
- использую кроп инструменты во встроенном редакторе Img2img для обозначения границ, вписывания в композицию, расширения поля
- для изменения формата использую инструмент Outpainting (где можно настроить в какую из четырех сторон или во все сразу расширять изображение, на сколько увеличивать в пикселях)
- дсли сразу знаю что мне нужен вертикальный или горизонтальный формат ввожу нужные соотношения в первом окне до всей генерации, но крайне редко, всегда можно доработать после
- для сложной многопредметной композиции, если не получается быстро сгенерить - делаю все отдельно, для дальнейшей склейки в ФШ. Но иногда получается объяснить нейронки, где необходим конкретный объект во вкладке inpainting
- и когда результат мне нравится, начинаю добавлять слова регулирующие стили.
Дополнительные модули можно скачать вот тут:
Чекпоинт с акварельным стилем, который я использовала:
Есть ещё один, но я его еще не успела протестировать:
Естественно при генерации определенных стилей нужно не забывать указывать в промте основные слова маркеры. В данном случае:
watercolor painting style
aquarelle
fine art
white background
rachelwalker style
Joseph Turner style
Thomas Gertin style
и другие имена художников акварелистов.
Для первого акварельного чекпоинта не забывайте указывать имя художницы (rachelwalker style), по которой проходило обучение нейронки. Но если вы пишете акварелью и у вас свой наработанный стиль - можно попробовать обучить нейронку на ваших работах и тогда уже совсем не переживать о том, что вы у кого-то воруете. А жизнь по созданию предварительных этюдов значительно упроститься и можно будет подумать над цветовым сочетанием и детализацией картины заранее, наглядно понимая что будет лучше убрать, а что оставить.
Так же можно попробовать описать нейросети работы тех авторов, которые вам нравятся. Важно экспериментировать в подборе слов - анализировать и вербально характеризовать те моменты на изображениях, которые являются стилеобразующими. например как в ботанической акварели - самое важное это детализация и сохранение верной анатомии цветов.
Вот так получается стиль ботанической иллюстрации:
Если поковырять настройки подольше, подобрать интересную композицию, уточнить запрос получаются весьма приемлемые красивые результаты, хоть сразу размещайте на открытки и используйте для создания принтов и паттернов:
Пара слов про паттерны, бесшовные текстуры, элементы для составления орнаментов и т.п.
Конечно же я не могла пройти мимо темы моих любимых паттернов, тем более некоторые стили тесно связанны с акварельной иллюстрацией.
Для того что бы получить что-либо в бесконечном варианте, а точнее tile (плитку), все стороны которой хорошо состыкуются между собой для создания эффекта непрерывности рисунка, в SD есть специальная функция "tiling" и нужно ее нажать перед запуском генерации. Тогда в общем-то практически всегда будет получаться бесшовность, иногда случаются небольшие заломы по краям если генерить что-то с градиентными переходами, в ретро оттенках, с имитацией заливок, но такие проблемы правятся в ФШ либо через заплатку либо с помощью лечащей кисти.
И второй момент указывайте в промте следующие слова:
seamless
pattern
ornament
tile
decorative pattern
+… style (описание нужного вам стиля или его название если есть) со словом "style" в конце предложения.
Конечно для скорости это очень круто, но я в свою очередь всё равно перерабатываю получившиеся результаты. Либо вообще использую их только для идей и вдохновения, так например поступила с векторными паттернами по заказу для пляжной одежды. Т.к. всё равно нужно было отрисовать все в векторе, ну и сами сгенерированные паттерны не устраивали меня полностью по своей композиции и цветовому решению.
Вот так сетка генерит паттерны с пальмами в стиле плоской векторной иллюстрации. По этим генерациям я создала мудборд, потом ориентируясь на него стала генерить отдельные объекты и элементы, которые мне были нужны для паттерна.
Вот такой один из силуэтов пальмы нагенерила нейронка. Я их собрала, оттрейсила и уже использовала в дальнейшем дизайне и стилизации с Glitch эффектом.
И это уже окончательный результат, мой паттерн по теме с пальмами и на волнах.
А такие геометрические паттерны вообще нет никакой проблемы оттрасировать либо векторизовать любым удобным способом и пускать в использование.
Еще одно важное замечание по промту как раз для генерации таких картинок где важны по стилю чёткие аккуратные линии:
minimalism
flat
clean line
pure line
minimal
minimal art
Ох вновь много всего получилось. Пора закругляться.
В последующих постах на эту тему буду уделять внимание конкретным узконаправленным стилям, промтам, разбору модулей и т.п. технической информации и творческой реализации.
Думаю стоит на этом пока закончить второй лонгрид по теме нейронок. Что бы не случилось перенасыщения картинками и информацией.
Спасибо за интерес! Творите и не закрывайтесь от нового!