Концепция
На днях гуляя по улицам Санкт-Петербурга, я случайно заметила дверь украшенную большим количеством витражей.Вспомнив это, я решила научить нейросеть рисовать изображения как витражную панель: жирные свинцовые линии, светящееся цветное стекло, крупные декоративные сюжеты. Главной задачей для меня стояла обучение модели запоминать не конкретный объект, а визуальный «почерк» — графику контуров, палитру, подсветку изнутри.
Для обучения я сгенерировала базовой Stable Diffusion стилевой якорь, размножила его через img2img на 24 новых сюжета и собрала датасет из 30 квадратных изображений — только собственные генерации, поэтому вопросов лицензий не возникает в принципе.
Генерация
Затем UNet дообучался методом DreamBooth через LoRA-адаптер rank 16 на 800 шагов.
Мне было интересно, удержится ли стиль на сюжетах, которых модель не видела, и где пройдёт граница — что переносится, а что теряется.
an old windmill by a river with grazing sheep
С первых генерации стиль отлеживался, хотя все сюжеты новые, их не было в обучении: свинцовые контуры делят картинку на цветные сегменты, палитра — «драгоценная» (изумруд, кобальт, янтарь), кажется, что сцена подсвечена изнутри. Триггер-токен не превращается в механическое повторение обучающих сюжетов.
a great horned owl on a pine branch under a full moon
a vintage carousel with wooden horses and lights
Отчетливо можно заметить, что нейросеть выходит из привычного для нас патерна витража, когда он находится в определенной ограничивающей иконке. Модуль рисует для нас более свободные от рамок изображения.
a lion with a flowing mane portrait
Удивительна закономерность, которую я сама не ожидала: простая геометрия (лев, карусель) собирается в цельный витраж, а сюжеты с тонкой перспективой (канал) местами распадаются на декоративные фрагменты. Это свойство самого стиля, а не сбой обучения.
a gondola on a quiet Venice canal with old buildings
Пары вариантов одного сюжета различаются композицией и палитрой — видно, сколько вариативности даёт адаптер при неизменном стиле. Видно, как различается применяемый материал витражей, в каждом изображении.
a humpback whale breaching under aurora borealis
Одной из моих любимых серий созданных нейросетью, является витраж с натюрмортов из фруктов и посуды. Модуль очень хорошо подстроился под задачу, создав уникальный сюжет, с достаточной проработанностью.
glass teapot and cups on a tray with lemon and mint
В целом проект показывает, что перенос стиля через небольшой собственный датасет и короткое дообучение даёт устойчивый результат.
Описание использования генеративной модели.
В проекте генеративный ИИ использовался в двух моделях.
Stable Diffusion v1.5 работала локально. И имело три назначенных роли: сгенерировать стилевой якорь, собрать обучающий датасет и выпустить финальную серию уже после дообучения.
А собственный LoRA-адаптер, дообученный в рамках проекта, — отвечал за перенос витражного стиля.
Дополнительно, формулировки вспомогательных текстов проекта и черновики прогонялись через генеративные модели. Все опубликованные изображения в проекте отбирались мной вручную.