Original size 1609x2250

Обучение генеративной нейросети Stable Diffusion в стиле Studio Ghibli

PROTECT STATUS: not protected

Идея проекта

Мне очень нравится рисовка анимационной студии Studio Ghibli, поэтому я решила обучить генеративную нейросеть Stable Diffusion для генерации иллюстраций в подобном стиле. В последствии их можно использовать для фестивалей или фирменного стиля, посвященного мультфильмам данной студии. Основная задача проекта — проверить, насколько нейросеть сможет уловить стилистику Ghibli.

Описание процесса работы

0
1/3

Для начала я нашла готовый dataset с иллюстрациями Studio Ghibli.

big
Original size 1171x417

и загрузила картинки в Google Colab через Google Диск

big
Original size 996x670

Далее был разработан класс датасета, позволяющий последовательно обходить набор данных, извлекать изображения по одному и подавать их на вход модели.

Original size 1131x647

Затем модель была загружена, и к ней добавлены LoRA-слои. Для ускорения обучения использовался GPU, на который переводилась модель. Все слои, кроме LoRA-слоёв, были заморожены, чтобы избежать обучения всей модели целиком. Для оптимизации использования видеопамяти применялся градиентный чекпоинтинг.

Original size 3173x1067

Процесс обучения представлен на изображении и занял 11 минут. По завершении получается модель, способная генерировать новые изображения в заданном стиле.

0
1/2

И затем я начала вводить промпты для генерации изображений.

Original size 1274x1274

результат одного из промптов

Результаты изображений

Original size 1024x1024
Original size 3387x1067
Original size 2240x1067
Original size 2560x2560

В целом я довольна получившимися изображениями, удалось довольно точно передать задуманный стиль. Совпадения выходят удачными, хотя в каждой серии почти всегда находится как минимум одна «кривая» картинка, что можно объяснить либо неудачным промптом, либо не очень аккуратно собранным датасетом, где вперемешку встречаются и люди, и пейзажи, и другие сцены. При этом, по моим наблюдениям, именно пейзажи генерируются заметно лучше, чем, например, животные.

Используемые инструменты

Stable Duffusion — генеративная модель Google colab — написание и выполнение кода Hugging Face — использовался для поиска и выбора модели

Обучение генеративной нейросети Stable Diffusion в стиле Studio Ghibli
Project created at 11.02.2026
adcr.dafes
The Art Directors Club of Russia sets the benchmark for creative excellence in design and advertising, serving as a central hub where industry professionals connect. Since 2004, the Club has hosted the ADCR Awards—a premier national competition celebrating creativity, design, and advertising. The core mission of the awards is to champion agencies and independent creators making their mark in the local market. By presenting this honor on behalf of the professional community, the Club reaffirms its endur... Show more
adcr advertising
adcr design
adcr students and young creators