Задача: на примере иллюстраций фэнтезийных зверьков обучить нейросеть создавать новых персонажей в одном стиле
Идея проекта заключается в том, чтобы обучить генеративную нейросеть создавать фэнтезийных антропоморфных зверьков в едином стиле с использованием штрихов.В качестве материала для обучения использовались мои рисунки для игральных карт:мыши — черви
выдры — бубны
крысы — пики
летучие мыши — крести
Серия рисунков, использованная для обучения
Обучение и генерация
Для обучения было подготовлено / отобрано 10 иллюстраций и подогнан учебный блокнот под свой проект.
Модель Stable Diffusion XL была дообучена методом LoRA в Google Colab на видеокарте T4. После 600 шагов обучения я сравнил базовую модель и версии после 300 и 600 шагов.
Для дальнейшей генерации выбрал версию после 300 шагов. Версия с 300 шагами сохраняла характерную штриховку без излишней гладкости и лучше передавала детали предметов.
Результат
Была собрана серия из антропоморфных животных с разным снаряжением и отдельная иллюстрация для обложки. Изображения объединены исходной чёрной штриховкой, тёплым бумажным фоном и стилистикой бестиария. Обученная модель позволила перенести стилистику исходных изображений на новых персонажей.
an anthropomorphic hare fencer, an anthropomorphic fox cartographer
При этом без изъянов не обошлось: отдельные мелкие детали, такие как хвосты, наконечники или лапы всё же требовали более ручного контроля.
an anthropomorphic otter traveler, an anthropomorphic mouse astronomer
a small anthropomorphic bat scout, an anthropomorphic badger guard, an anthropomorphic hedgehog healer an anthropomorphic chipmunk archer an anthropomorphic otter traveler
В полученной серии получилось хорошо передать изначальную штриховку и стилистику, а также человекоподобность в лице зверьков. Но, на мой взгляд, в большей части работ получились менее выразительные лица. Обученная нейросеть хорошо справляется со стилистикой, но передать «мультяшное» и одновременно «человеческое» выражение лица она не смогла и сильнее воспринимает основной фактор, что персонажи это зверьки.
Описание применения генеративной модели
Генеративная сеть «Clode ai» использовалась в качестве дополнительного помощника в разъяснении учебного материала, а также в построении поэтапного плана действий.
