Идея проекта
Я решила дообучить нейросеть на иллюстрациях Утагава Хиросигэ — японского художника XIX века, и попробовать сгенерировать современные сюжеты.Для этого я выбрала Stable Diffusion XL и 37 пейзажных гравюр Хиросигэ из открытой коллекции музея Метрополитен. Каждая сцена итоговой серии отвечает конкретному прообразу: та же погода, та же композиционная идея, но другая эпоха.
Датасет и подготовка данных
Модель обучалась на 37 пейзажных гравюрах, из которых получилось 74 квадратных изображения 1024×1024.Все изображения были взяты из открытой коллекции The Metropolitan Museum of Art. Изображения произведений в общественном достоянии музей распространяет по лицензии Creative Commons Zero (CC0).
На некоторые сканы попала измерительная шкала, благодаря кадрированию, удалось избежать ее попадания в итоговую выборку
Я брала только пейзажи с погодой, водой и фигурами путников. В датасет вошли листы из дорожных серий «53 станции Токайдо» и «69 станций Кисокайдо», цикла «Восемь видов Оми» и поздней серии «Сто знаменитых видов Эдо». Анималистичные и театральные сцены я исключила, чтобы стиль был однородным.Каждую гравюру разрезала на два квадрата: горизонтальную — на левый и правый, вертикальную — на верхний и нижний. Так композиция сохраняется лучше, чем при одной центральной обрезке, а датасет удваивается.
Примеры изображений, подготовленных для дообучения
Итоговая серия
Итоговая серия — 12 сцен современного города, у каждой из которых есть прообраз в датасете
Модель научилась воспроизводить художественный язык Хиросигэ и смогла передать современность. Итоговая серия получилась только с третьей попытки.Вес LoRA определяет, насколько сильно обученные веса влияют на базовую модель: 0 — чистая SDXL, 1 — полное влияние.
02_concert_lights_lora90 | 03_bus_stop_snow_lora75
Глубокая синяя (берлинская лазурь) в воде и небе, желтые и красные закаты, приглушенная зелень и серый снежный фон.
12_night_jog_lora90
Плавный градиент от темной полосы вверху к светлому горизонту — фирменный прием печати с деревянных досок.
06_overpass_lora90 | 10_construction_lora90
Низкий горизонт, крупный передний план сквозь который виден дальний, мелкие фигурки людей на фоне большого пейзажа.
01_rain_couriers_lora90
Четкий контур, локальные заливки цвета, фактура старой бумаги, срезанные углы рамки, красные картуши и печати.
Разбор результатов
Всего было выполнено три итерации в обучении. Первая показала главную особенность обучения на стиль: в датасете не было ни одного современного предмета, и модель связала манеру с содержанием. Это видно на сравнении по силе LoRA.
При весе 0 на остановке стоит автобус, при 0.5 он уже исчезает
Решение — промпты с явными современными деталями («курьеры в дождевиках с квадратными терморюкзаками») и негативный промпт, запрещающий кимоно и бумажные зонты. Когда отделять эпоху стал негативный промпт, вес LoRA снова можно было поднять до 0.9 и вернуть часть стиля.
Лучше всего модель работает там, где современный объект повторяет форму старого: башенные краны вместо бревен, бетонные опоры вместо деревянных свай, речное такси вместо переправы.
Уже после 200 шагов из 800 стиль стал узнаваемым, а дальше композиции становились плотнее и появляются картуши, рамка и бумажная фактура
Процесс обучения
Модель была обучена методом DreamBooth + LoRA на бесплатной видеокарте NVIDIA T4 в Kaggle за 800 шагов.
Шаг 1: Скачать исходные гравюры с сайта музея Метрополитен
Шаг 2: Очистить поля и нарезать на квадраты 1024×1024
