Original size 1140x1600

Генерация изображений с помощью дообученной нейросети Stable Diffusion

PROTECT STATUS: not protected

Описание

В рамках финального проекта было необходимо дообучить нейросеть Stable Diffusion самостоятельно генерировать изображения в заданном стиле. На примере 46 изображений удалось дообучить нейросеть генерировать новые изображения в стиле советской мозаики.

Original size 4865x2840
Original size 4865x2840

Примеры исходных изображений для обучения нейросети

Результат

0
1/6

Сгенерированные цветы

Сгенерированные изображения представляют из себя серию иллюстраций, на которых изображены цветы, деревья и животные. Заданный стиль мозаики успешно передался в получившихся картинках.

Original size 4865x2840

Сгенерированные деревья с цветным фоном

Original size 4865x2840

Сгенерированные коты

Описание процесса дообучения

  1. Подготовка Окружение: Kaggle. Библиотеки: Были установлены diffusers, transformers, accelerate, peft, bitsandbytes для оптимизации памяти. Скрипт обучения: Загружен train_dreambooth_lora_sdxl.py из репозитория Hugging Face по совету преподавателя.
  2. Данные Датасет: Использованы изображения советских мозаик. Разметка: Генерация описания «photo collage in RUSSIAN MOSAIC style».
  3. Обучение Модель: Дообучение SDXL 1.0 + LoRA (легковесные адаптеры). Параметры: Разрешение изображений: 512×512. Batch size: 2 (накопление градиентов за 3 шага). Шагов обучения: 500. В процессе генерации изображений задавался определенный промпт. (prompt = «photo collage in RUSSIAN MOSAIC style, pink mosaic with trees»).
  4. Результат Выход: LoRA-адаптеры сохранены в папку rumosaica_LoRA. Публикация: Модель загружена в Hugging Face Hub для общего доступа.

Во время работы над проектом была использована только нейросеть Stable Diffusion.

Папка с кодом проекта

Генерация изображений с помощью дообученной нейросети Stable Diffusion
Project created at 10.04.2025
adcr.dafes
The Art Directors Club of Russia sets the benchmark for creative excellence in design and advertising, serving as a central hub where industry professionals connect. Since 2004, the Club has hosted the ADCR Awards—a premier national competition celebrating creativity, design, and advertising. The core mission of the awards is to champion agencies and independent creators making their mark in the local market. By presenting this honor on behalf of the professional community, the Club reaffirms its endur... Show more
adcr advertising
adcr design
adcr students and young creators