Стиль Эдварда Мунка — это уникальное сочетание экспрессии, тревожной атмосферы и узнаваемых цветовых решений.
Цель проекта — обучить нейросеть Stable Diffusion XL (SDXL) с помощью DreamBooth + LoRA так, чтобы она могла создавать новые изображения в духе Мунка
Для обучения использовалась коллекция из 200 изображений картин Мунка, собранных с Kaggle: https://www.kaggle.com/datasets/isaienkov/edvard-munch-paintings (Распространяются под лицензией CC0: Public Domain)
Примеры исходных работ:
Часть изображений из датасета
Изображения различаются по сюжету, но объединены общей экспрессивной манерой.
Модель успешно переняла ключевые особенности стиля:
Промт: painting in MUNCHSTYLE style, lonely figure by the sea at sunset
Промт: painting in MUNCHSTYLE style, city street in anxiety mood
Промт: painting in MUNCHSTYLE style, self portrait with expressive brushstrokes
Промт: painting in MUNCHSTYLE style, two people under dramatic sky
Промт: painting in MUNCHSTYLE style, night bridge and flowing lines
Промт: painting in MUNCHSTYLE style, symbolic landscape with red sky
Промт: painting in MUNCHSTYLE style, faceless crowd in motion
Промт: painting in MUNCHSTYLE style, portrait with distorted perspective
Результаты показывают, что модель научилась не просто копировать отдельные картины, а именно стилизовать новые сцены под Мунка. Это видно по тому, как на новых сюжетах сохраняются ключевые элементы стиля.
Цветовая палитра: доминируют приглушённые, тревожные оттенки, характерные для Мунка.
Композиция: искажённые перспективы, вытянутые фигуры, эмоциональные позы.
Атмосфера: ощущается тревожность, одиночество, экспрессия.
Техника: заметны мазки, напоминающие оригинальную манеру письма художника.
Технические детали:
Для генерации промптов использовалась BLIP-captioning, чтобы максимально точно описать исходные изображения.
Обучение велось в режиме LoRA с сохранением промежуточных чекпоинтов.
Для генерации итоговой серии использовались разные текстовые описания, чтобы проверить универсальность переноса стиля.
Работа с кодом:
Устанавливаем необходимые скрипты и зависимости
Подготовка датасета и предпросмотр нескольких исходных изображений
BLIP-captioning:
Генерация BLIP Captions и метаданных
Обучение:
Обучение модели
Публикация LoRA
Переходим к генерации изображений
Инициализация Пайплайна
Генерация
В конце дополнительно сохраняем результаты:
Экспорт результатов
Датасет и файл с кодом: https://drive.google.com/drive/folders/1RvM3RBBr_8SAZhsWrid9hP8bHqnpWG1I?usp=sharing
Модель для дообучения: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
VAE энкодер: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
