Обучение генеративной нейросети на примере вязанных плюшевых игрушках

Вязаная игрушка — это ремесло с очень узнаваемой
пластикой. Столбик с накидом задаёт шаг, по которому строится вся форма: объём набирается прибавками, поверхность идёт спиралью, мелкая деталь физически невозможна. Любой предмет, связанный крючком, подчиняется этой логике и от неё становится мягче, круглее
и добрее оригинала.
Задача проекта — научить генеративную модель не
копировать конкретных мишек и зайцев, а владеть самим приёмом. Проверка простая: если сеть усвоила ремесло, она сможет связать то,
чего в обучающей выборке не было вовсе — мотоцикл, череп, городскую улицу, скелет
динозавра.
Отсюда и замысел серии: взять предметы, максимально далёкие от детской игрушки,
и посмотреть, что с ними сделает пряжа. Твёрдое становится мягким, опасное — безобидным, техническое — рукодельным.
Череп из кремовой пряжи перестаёт быть memento mori и превращается в подушку.

Обучающая выборка — 40 квадратных изображений
1024×1024. Все они синтезированы моделью Google Gemini (Nano Banana) специально под этот проект: вопрос авторских прав на чужие фотографии снимается полностью, а состав выборки можно спроектировать заранее, а не собирать из того, что нашлось.
Выборка сознательно разбита на три группы, чтобы модель училась ремеслу, а не одному типу кадра: 16 снимков в домашнем интерьере при свете из окна, 12 — на чистом ровном фоне, 12 — на улице и других поверхностях. Цвета пряжи разведены принудительно: кремовая, яркая,
пастельная, тёмная, многоцветная.
Сюжеты: звери, еда, персонажи, а также ракурсы «в руках», «крупный план фактуры» и «группа предметов». Один кадр пришлось перегенерировать — панда вышла чёрно-белым снимком и потянула бы всю модель в десатурацию.

Метод — DreamBooth + LoRA поверх Stable Diffusion XL 1.0. Базовая модель не меняется: обучаются только
низкоранговые адаптеры внутри U-Net. Это позволяет
уложиться в 16 ГБ видеопамяти и получить файл весов на 93 МБ вместо семи гигабайт полной модели.
Подписи к картинкам сгенерировала модель BLIP-large, к каждой добавлен префикс со словом-триггером KNITTOY. Триггер — редкое слово, которого нет в обычном языке:
именно оно потом вызывает выученный стиль в промпте и не мешает остальным понятиям модели.
Обучение шло на RTX 4080 Super: 1000 шагов, 28 минут, 1,71 секунды на шаг. Промежуточные чекпоинты сохранялись каждые 250 шагов.

Главное — петля легла по форме предмета,
а не наложилась текстурой поверх картинки. У мотоцикла колёса связаны по кругу от центра, у черепа ряды огибают глазницы, у городской улицы дома набраны столбиками снизу вверх. Это и есть признак того, что модель усвоила приём.
Вместе со стилем перенеслась и фотографическая подача: мягкий свет из окна, малая глубина резкости, бытовой фон. Модель выучила не только предмет, но и способ его снимать — потому что в выборке это было выдержано последовательно.

Что не получилось. Модель тянет в кремово-бежевую
гамму: в выборке преобладала натуральная пряжа, и этот перекос виден примерно в половине кадров. На сложной геометрии стиль иногда рассыпается:
у шахмат поплыла доска, у бургера не читаются слои.
Самый показательный провал — ноутбук. Модель связала кружку и подставку, а сам ноутбук оставила обычным: на главный объект стиль не перенёсся, сеть зацепилась за второстепенные предметы, которые ближе к тому, что она видела в обучении.

При неизменном промпте смена seed меняет результат радикально — и это рабочий инструмент, а не шум.
Космический корабль на исходном seed вышел
бесформенным, но тот же запрос на другом seed дал
самолётик над вязаной планетой со звёздами и орбитами.