Original size 488x694

Обучение генеративной нейросети на основе личных иллюстраций

PROTECT STATUS: not protected

Идея

Моей задачей было обучить генеративную нейросеть Stable Diffusion для генерации иллюстраций в моем стиле. В качестве датасета я выбрала проект первого курса первого модуля по арт-практике, потому что мне действительно интересно было выполнять его, а теперь появилась возможность окунуться в атмосферу начала учебы в университете. Можно сказать, что работа основана на личном исследовании своего творчества. Так как я уже не рисую в таком стиле, мне захотелось зафиксировать и сохранить в памяти этот образ. Цель проекта — посмотреть, насколько похоже сумеет нейросеть попасть в мой стиль.

Исходные изображения

big
Original size 1920x1080

Общий стиль изображений: — черно-белый покрас — материал — гуашь — упрощенные силуэты людей — тема о саморефлексии и чувствах, сильных эмоциях

Процесс обучения

Первым шагом стала установка всех инструментов, необходимых для работы модели — таких как Diffusers, DreamBooth и другие. Затем изображения были перенесены с локального компьютера в Google Colab при помощи встроенного механизма загрузки файлов. После этого нужно было проверить, что файлы действительно появились в среде и готовы к использованию.

0
1/3

код

Следующим этапом стало создание подписей к каждому изображению — этот шаг завершал подготовку моего датасета для обучения нейросети.

0
1/2

фрагменты кода

После логина в HuggingFace можно приступать к обучению.

0
1/2

фрагмент кода

Теперь можно сохранить модель на все тот же HuggingFace, а затем начать генерацию.

Original size 2720x306

фрагмент кода

0
1/2

фрагмент кода

Результаты генерации

При составлении промптов я ориентировалась на желание получить эмоционально наполненные картинки, с атмосферным сюжетом. У нейросети отлично получилось передать текстуру гуаши, которую я использовала в оригинальных работах.

промпт 1: «2D art in the style of CRY, minimalistic figure, standing in the rain, grayscale»

Original size 1024x1024

изображение 1

промпт 2: «2D art in the style of CRY, minimalistic figure, sitting near the water, grayscale, smooth body lines»

Original size 1024x1024

изображение 2

Также нейросеть отлично отделяет изображаемого персонажа от фона, не «теряет» его, при этом сам фон не остается однотонным в большинстве случаев. В моих работах фон чаще был одноцветным, но встречались и работы с более разнообразным задником.

промпт 3: «2D art in the style of CRY, two abstract human silhouettes intertwined in conflict, grayscale painting, strong body tension, high contrast» промпт 4: «2D art in the style of CRY, abstract grayscale human figure hugging itself, emotional symbolism, curved lines, soft shadows, minimalist backgroun»

Original size 1920x1080

изображение 3, изображение 4

Некоторые из изображений получились слишком абстрактными, и если не знать задумку, разобраться будет не так просто. Поэтому впоследствии я аккуратнее использовала в промпте слово «abstract». Однако генерации по-прежнему соблюдают визуальный стиль оригиналов, и силуэты людей остаются различимыми.

промпт 5: «2D art in the style of CRY, human figure sitting on a chair, grayscale minimalist painting, high quality»

Original size 1024x1024

изображение 5

Иногда нейросеть дорисовывала неопознанные объекты рядом с персонажами, которых не было в промпте, однако я не могу сказать, что они как-то портят изображение или выбиваются из общей стилистики, смотрятся довольно органично.

промпт 6: «2D art in the style of CRY, human figure standing near a square shape suggesting a window, grayscale minimalist painting, high quality»

Обучение генеративной нейросети на основе личных иллюстраций
Project created at 09.11.2025
adcr.dafes
The Art Directors Club of Russia sets the benchmark for creative excellence in design and advertising, serving as a central hub where industry professionals connect. Since 2004, the Club has hosted the ADCR Awards—a premier national competition celebrating creativity, design, and advertising. The core mission of the awards is to champion agencies and independent creators making their mark in the local market. By presenting this honor on behalf of the professional community, the Club reaffirms its endur... Show more
adcr advertising
adcr design
adcr students and young creators