Обои для панельки

Двенадцать бесшовных узоров в технике японских трафаретов катагами. Только вместо журавлей и хризантем здесь вороны на проводах, чугунные батареи, спутниковые тарелки и коты на подоконниках. Узоры нарисовала Stable Diffusion XL: её научили резать катагами на 188 фрагментах музейных трафаретов XIX века.

В коллекции Метрополитен-музея лежит почти полтысячи японских трафаретов для ткани. Они называются катагами. Это несколько слоёв бумаги из волокна шелковицы, склеенных соком незрелой хурмы. Бумага от этого становится твёрдой, коричневой и не боится воды. Мастер вырезает в ней узор маленьким ножом, иногда тысячи отверстий на лист. Потом трафарет кладут на ткань, наносят через прорези рисовую пасту, и после окраски там, где была паста, остаётся белый рисунок.

Меня в катагами цепляют две вещи. Первая: узор всегда раппорт. Трафарет сдвигают по отрезу ткани шаг за шагом, и рисунок должен сходиться на стыке без шва. Вторая: мотивы. Это не придворная живопись, а то, что художник видит каждый день. Волны, бамбук, плющ, стрекозы, птицы на ветке, веер, рыболовная сеть, дождь.
Отсюда идея. Если бы мастер катагами жил в спальном районе, что бы он вырезал? Вороны на проводах вместо журавлей. Решётки батарей вместо бамбуковых шпалер. Ряды балконов с бельём вместо волн. Одуванчики, которые лезут сквозь асфальт, вместо хризантем.
А раз это раппорт, его можно напечатать на обоях, ткани и плитке. Так получилась маленькая коллекция для типовой квартиры.

Все трафареты взяты из открытой коллекции Метрополитен-музея (Open Access). Музей отдаёт фотографии предметов в общественном достоянии под лицензией CC0: их можно использовать как угодно, в том числе для обучения моделей.

Новое слово. В словарь модели добавляются два новых токена, и . Сначала они ничего не значат. Во время обучения модель подбирает для них смысл: такой, чтобы по фразе katagami stencil получалась именно эта бумага, этот срез ножа, эта коричневая тонировка. Это textual inversion.

LoRA. Одновременно в слои внимания UNet добавляются маленькие обучаемые матрицы, как обычно.

Зачем оба сразу? Слово «катагами» SDXL знает, но понимает его как «что-то японское» и рисует то гравюру, то кимоно. Новые токены дают стилю своё имя, а LoRA доводит рисование до нужной точности. Первую половину обучения учатся и токены, и LoRA. Потом токены замораживаются (это и есть «pivot», поворот), и дальше учится только LoRA. Так LoRA подстраивается под уже готовое слово, а не перетягивает стиль на себя.
Скрипт официальный, из примеров diffusers: train_dreambooth_lora_sdxl_advanced.py. Две правки в нём:
скрипт при каждом промежуточном сохранении затирал токены одним файлом, а правка сохраняет их рядом с весами каждого этапа;
после обучения скрипт переводил весь UNet в fp32 прямо на видеокарте, и на T4 это падало с нехваткой памяти после всех 1200 шагов. Правка переносит UNet в оперативную память.

Отражение здесь включено, в отличие от фотографий: у узора нет правой и левой стороны.

Обои, ткань и плитка печатаются раппортом: один квадрат повторяется встык во все стороны. Обычная диффузионная модель рисует картинку с краями, и при повторе на стыке виден шов.
Приём, который это лечит, очень простой. У каждого свёрточного слоя в UNet и VAE есть отступ по краям: чтобы обработать крайний пиксель, слой берёт соседей, которых за краем нет, и подставляет вместо них нули. Если заменить нули на круговой отступ (padding_mode="circular"), слой вместо пустоты возьмёт пиксели с противоположного края. Для модели картинка становится тором: правый край продолжает левый, нижний продолжает верхний. Модель рисует узор, замкнутый сам на себя.