Стиль чёрно-белой фотографии с дымкой и зерном, обученный методом DreamBooth + LoRA на 45 авторских фото
В этом проекте я превращаю свою авторскую фотографическую обработку в нейросетевой стиль. Я взяла 45 собственных фотографий с природой и разными деталями, обработала их в едином ключе: чёрно-белый монохром, подсвеченные светлые объекты, дымка, мягкое свечение и плёночное зерно.Цель — научить генеративную модель рисовать в этой эстетике любые сюжеты. У фотографий тихое и меланхоличное настроение. Белые пятна света будто растворяются в сером тумане, а кадр напоминает сон.
Изображения для обучения
Серия сгенерированных изображений
photo in SKS style, coastal zone of the bay, Vourgh fjords, seagulls in the sky
photo in SKS style, a castle on a hill
photo in SKS style, a horse’s muzzle seen from above; its mane is braided
photo in SKS style, children are running around the village
photo in SKS style, a domed church in a field
photo in SKS style, A river, from which a small, brightly glowing fish leaps out
photo in SKS style, A river, from which a small, brightly glowing fish leaps out
photo in SKS style, lace-embroidered letter A
Комментарий
Проект показывает как небольшой авторский датасет превращается в визуальный стиль, и как нейросеть может продолжать авторскую манеру. Мне было важно научиться передавать настроение, это будет полезно в будущем: для создания визуального языка бренда или книжных иллюстраций.Модель усвоила ключевые принципы:— Цветовая палитра черно-белая, за исключением кадра с лошадью, он получился кремовый, но в нужной стилистике;
— Пленочный шум;
— Свечение и туманность. Я заметила, что если добавить слово «туман» в промт, то заданных объектов не видно, все заслонено дымкой, как и в жизни;
— Смазанные воспоминания. Так как в моем датасете нет портретов, лица могут выглядеть неразборчиво, это дает ощущение лиц из снов. Во снах лица практически неуловимы. Например, где дети бегут по деревне, их лица смазаны и забликованы. Этот эффект соответствует концепции и является трудновыполнимым при реальной фиксации изображения. Поэтому он очень интересен.
Реализация
Базовая модель: Stable Diffusion XL 1.0
Метод адаптации: DreamBooth с LoRA
Размер датасета: 45 изображений
Количество шагов: 500
Разрешение: 512×512 пикселей
Обучение проводилось на авторском датасете из 45 фотографий, обработанных в едином стиле: чёрно-белый монохром, подсвеченные светлые объекты, дымка, мягкое свечение и плёночное зерно. Все изображения были приведены к квадрату 1:1. Для каждого фото нейросеть BLIP автоматически создала текстовое описание сюжета, к которому добавлен ключ стиля SKS («photo in SKS style»). Это позволило модели отделить стиль от содержимого кадра. Для обучения на бесплатном GPU T4 использовались gradient checkpointing, 8-битный оптимизатор.
Использованные модели и методы
- Stable Diffusion XL 1.0 — Базовая архитектура для генерации изображений
Ссылка: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.02. BLIP (Bootstrapping Language-Image Pre-training) — Автоматическая аннотация изображений датасета
Ссылка: https://huggingface.co/Salesforce/blip-image-captioning-base3. DreamBooth + LoRA (методика) — Персонализация базовой модели под свой стиль4. SDXL VAE fp16-fix — Исправленный декодер изображений, который позволяет обучать и запускать SDXL в половинной точности (fp16)
Ссылка: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
