Концепция
Я обожаю вязаные игрушки: у амигуруми есть особенная энергетика — они тёплые и неторопливые. Всё, что связано, будто само по себе становится добрее. Давно хотела придумать своего персонажа в этой эстетике, и финальный проект стал поводом: я решила не просто нарисовать его один раз, а научить нейросеть узнавать и рисовать Мотю в любых ситуациях.
Сначала я хотела собрать датасет из фотографий настоящей вязаной игрушки, но оказалось, что есть способ проще и честнее: я сгенерировала изображение-героя, а затем через img2img делала его вариации — персонаж остаётся тем же, а меняются фон, освещение и детали. Так появилось 30 квадратных изображений, на которых Мотя сидит в корзинках, на скамейках в снегу, среди цветов и у корицы для булочек.
Мне было любопытно проверить дважды сгенерированного персонажа: нейросеть, обученная на картинках нейросети. Это запутанно, но чисто с точки зрения прав — все изображения созданы мной локально.
Генерации
Я обучила LoRA-адаптер (DreamBooth, rank 16, 800 шагов) и поехала с Мотей в путешествие по временам года. Каждую сцену я генерировала дважды и выбирала кадр, где Мотя читается лучше всего. Промпты подписаны под частью изображений.
1 sitting on a windowsill, snow and frost outside, warm mug of cocoa nearby 2. sliding down a small snowy hill, snowman nearby, bright winter day
Меня удивило, как быстро модель начала отдавать узнаваемого кота. Первые же генерации после обучения показали: рыжая вязаная текстура, большие глаза, игрушечная подача — всё на месте, хотя сцены (зимнее окно, какао) модель видела впервые.
1. sitting in a blooming spring garden, cherry blossom petals, soft sunlight 2. holding a tiny umbrella under spring rain, puddles on a street
С весной пришли мои любимые кадры. Мотя среди сакуры выглядит так, будто его связали специально под это дерево. Нейросеть сама продумала свет и настроение, я в промпте описывала только сцену.
1. on a sunny beach with a coconut drink, palm trees, turquoise sea 2. roasting a marshmallow over a campfire in a pine forest, evening
Лето получилось самым весёлым: гамак, кокосовый коктейль, зефир у костра. Здесь видно главное свойство обученной модели — она держит персонажа, но не копирует его: бирюзовый цвет то занимает живот, то превращается в шарф, пуф или воротник.
sitting in a chamomile field, blue summer sky, butterflies
Осенняя Мотя в бирюзовом шарфе — мой личный фаворит серии. Это лучшая иллюстрация того, что происходит с персонажем внутри латентного пространства: модель выучила не одну картинку, а «усреднённую» Мотю, и детали дорисовывает под сцену.
1. walking through an autumn park, golden leaves falling, soft light 2. on a kitchen table next to a freshly baked pumpkin pie, cinnamon
Мотя лежит на тарелке рядом с тыквенным пирогом. Модель решила, что тарелка — это идеальное место для кота.
1. under a decorated christmas tree with glowing garlands and gifts 2. sitting in a soft armchair by a fireplace with an open book, cozy evening
sitting on a rooftop under a starry night sky, city lights far below
Финал серии — крыша под звёздами. Отсюда видно всё путешествие: от зимнего окна с какао сюда, наверх.
Описание применения генеративной модели:
Проект создан с использованием генеративной модели Stable Diffusion 1.5 с DreamBooth и LoRA, которую я дообучала на собственном датасете (30 изображений, сгенерированных этой же моделью локально) в образовательных целях — освоить технологию дообучения генеративных сетей — и для создания собственного персонажа.
