Обучение генеративной нейросети на зимних мотивах и инее

Главная цель проекта — передать атмосферу приближающейся зимы, чувство морозного воздуха, свежесть и хрупкую красоту природы в момент, когда холода только начинают её сковывать. Идея заключалась в том, чтобы покрыть инеем привычные объекты окружающего мира, запечатлев переходный момент между осенью и зимой.

Для обучения модели был сформирован датасет из 51 квадратного изображения хорошего качества, которые отбирались по принципу выраженности фактуры, читаемости узоров. Все кадры изображены на относительно плоских поверхностях, чтобы модель перенесла все нужные визуальные свойства на объёмные объекты после обучения.

Был собран и подготовлен датасет

Подключение к графическому процессору в Google Colab и установка необходимых библиотек (diffusers, transformers, accelerate, peft, bitsandbytes, torchao).

Создание метаданных и подключение модели для обработки датасета.

Проведена отчистка оперативной памяти и настройка параметров тренировки в скрипте. Далее был запуск скрипта обучения.

После завершения обучения, были зафиксированы и сохранены весы LoRA-модели в директории my_lora_model. Подготовка пайплайна генерации для тестирования полученной модели с помощью кастомных промптов для 8 изображений.

1. Ресницы: Close-up shot of a partial human face focusing on the eyes, delicate frost and ice crystals clearly visible on the eyelashes, soft winter morning light, photorealistic, iney2. Трава: Macro shot of autumn grass blades covered in crisp white frost, cold morning dew frozen into ice, winter is coming, iney3. Рябина: Clusters of bright red rowan berries heavily coated with sparkling frost and snow, cold winter day, vibrant contrast of red and white, iney4. Дорожка: A narrow garden path covered with fallen leaves and a thin layer of morning frost, mysterious atmosphere, moody winter landscape, iney5. Лужа: A frozen puddle with a clear distinct shape outline in a rural countryside landscape, a thin cracked layer of ice reflecting the winter sky, frosty edges, macro photography, iney6. Дерево: An old majestic tree with branches completely covered in white fluffy frost and rime, foggy winter background, cinematic composition, iney7. Забор: An old rustic wooden fence covered in thick white frost and icicles, cold frosty morning, cozy winter countryside, iney8. Стог сена: A large haystack in a snowy field dusted with frost, sunrise lighting casting a golden glow on the frozen landscape, iney

Серия последовательно раскрывает тему ранней зимы: от макрообъектов, вроде ресниц, травы, ягод, передающих тактильное ощущение холода и свежести, до более глобальных сельских пейзажей с дорожкой, лужами, стогом сена. За счет обученной LoRA-модели все объекты объединены единой холодной эстетикой и фактурой инея.

Во время создания проекта использовались инструменты:
◯ Stable Diffusion XL 1.0 — базовая генеративная модель для синтеза изображений
◯ DreamBooth + LoRA — метод точечной дообучения модели под заданный авторский стиль и объекты с минимальными затратами ресурсов
◯ BLIP (Bootstrapping Language-Image Pre-training) — мультимодальная нейросеть для автоматического создания текстовых описаний к исходному датасету
◯ Gemini (LLM) — языковая модель, использованная для формирования концепции проекта, написания экспликации, а также для точной разработки и доработки промптов под каждую деталь с инеем
◯ Python — программное окружение и библиотеки для настройки пайплайна и запуска обучения в Google ColabПараметры проекта:
◦ Датасет: 51 изображение в формате 1:1
◦ Шагов обучения: 500
◦ Разрешение генерации: 512×512

◦ Часть изначальных промптов давала слишком широкие планы. Для серии с ресницами пришлось сузить фокус до части лица с глазами, а для лужи — явно прописать контур и сельскую местность, чтобы добиться нужной концентрации внимания на объекте.◦ Кадры чередуются от портретного макро до общих пейзажных планов, создавая ритм и показывая, как именно мороз преображает разные элементы мира.