Море Ясности

С 1969 по 1972 год на Луну высадились шесть экипажей «Аполлона». Каждый привёз из экспедиции плёнку: 70 миллиметров, камера Hasselblad, объектив Zeiss 60 мм. На каждом кадре видны чёрные крестики. Это не дефект, а разметка: перед плёнкой стояла стеклянная пластина с сеткой меток, по ним потом измеряли расстояния на снимках.Эти кадры узнаёт каждый. Чёрное небо без звёзд. Серый грунт, похожий на пепел. Солнце бьёт сбоку, тени длинные и резкие. Предметов мало, и каждый стоит отдельно: модуль, флаг, ровер, человек в скафандре. Ничего лишнего, потому что лишнего туда не довезти.Экспедиций планировали больше. «Аполлон-20» отменили первым, 4 января 1970 года, «Аполлон-18» и «Аполлон-19» в сентябре того же года. Их плёнка так и осталась неотснятой.

Почему дача? Это тоже место, куда всё привозят с собой и где каждая вещь на счету. Тоже экспедиция на выходные, со своим снаряжением, ритуалами и сбором образцов. А ещё дачный участок очень легко узнать по одному предмету. Парник, колодец, баня, бельё на верёвке: каждый работает как флаг.

Для обучения модели были отобраны 146 кадров из архива NASA Image and Video Library, снятых астронавтами экспедиций «Аполлон-11» — «Аполлон-17».Первоначально было найдено 197 кадров. После просмотра отобраны изображения с поверхностью Луны, отдельными объектами и характерными деталями лунного ландшафта.Из выборки исключены снимки из кабины и командного модуля, портреты экипажа, кадры через иллюминатор, смазанные и пересвеченные фотографии, а также почти одинаковые изображения.

Все 146 изображений были приведены к квадратному формату 1024 × 1024 пикселя. Для каждого кадра вручную составлена подпись на английском языке, описывающая основные объекты и их расположение:«srnt photo, an astronaut walking towards the camera, reflection in the gold visor»
«srnt photo, the lunar rover far away below a mountain, tracks in the foreground»
«srnt photo, a huge split boulder»В подписях нет ни плёнки, ни зерна, ни крестиков, ни жёсткого солнца. Это общее для всех 146 кадров, и модель должна отнести это к триггеру «srnt photo».

Модель: Stable Diffusion XL 1.0, родное разрешение 1024 пикселя.
Метод: LoRA, дообучение по подписям, официальный скрипт diffusers «train_text_to_image_lora_sdxl.py».
Железо: одна видеокарта Tesla T4, Kaggle.

Отражение выключено намеренно. На кадрах есть флаги, надписи на модуле, тени, которые падают в одну сторону. Зеркальная копия Луны выглядела бы фальшиво.Noise offset нужен из-за неба. Обычная SD тянет каждый кадр к среднему серому, и небо выходит тёмно-серым. Сдвиг шума позволяет модели делать настоящий чёрный.

Каждые 250 шагов обучения результаты проверялись на трёх контрольных промптах. Они позволяли оценить, как модель усваивает визуальный стиль исходных фотографий и справляется с изображениями объектов, не связанных с лунной поверхностью.

Результаты:
Без LoRA астронавт выглядит как постановочный кадр: голубоватое небо, пластиковый скафандр, гладкий грунт.
После 250 шагов уже плёнка «Аполлона». Холодный серый цвет, зерно, тень под ногами, модуль срезан краем кадра, как у настоящего фотографа в скафандре.
После 500, 750 и 1000 шагов кадр почти не меняется. Модуль становится точнее: фольга, опоры, лестница.
Парник и «Жигули» остались на Земле, на всех этапах. Плёнка стала тусклее и площе, цвет ближе к «Аполлону», но вокруг трава, деревья и пруд.

Главный вывод тренировки: триггер выучил плёнку, но не Луну. Луна в подписях названа словами: «grey plain», «black sky», «lunar module». Поэтому для модели Луна живёт в этих словах, а не в srnt photo. Для съёмки серии это значит, что место надо называть в промпте прямо.Для серии взяты веса после 1000 шагов: лунный модуль на них самый точный, переобучения не видно.

Полётное задание:
Двенадцать кадров. В каждом один дачный предмет: домик, парник, «Жигули», колодец, пугало, баня, самовар, будка, тачка, калитка. В двух кадрах астронавт: копает картошку и развешивает бельё.Камера:
SDXL 1.0 с LoRA srnt photo, веса после 1000 шагов;
сила адаптера: 1,15;
сэмплер: DPM++ 2M Karras, 30 шагов, CFG 7;
шесть вариантов на кадр, 1024×1024.CLIP ViT-L/14 предлагает лучший дубль по соответствию промпту. Окончательный выбор кадров выполнялся вручную.

Промпт:srnt photo, a small wooden dacha house with carved window frames and a porch, standing alone, on the grey lunar surface, black sky

Изменено три вещи:1. Место перенесено в начало, сразу после триггера, и названо прямо: on the moon, lunar surface, pitch black sky, harsh sunlight. Первые слова промпта модель слушает внимательнее.2. Негативный промпт расширен. Добавлены серое и пасмурное небо, туман, снег, зима, лес, строения на заднем плане.3. Сила LoRA поднята с 1,0 до 1,15, CFG с 6 до 7.

Из двенадцати изображений в шести случаях первоначальный выбор CLIP был заменён вручную. При отборе учитывались композиция, соответствие задуманному сюжету и правдоподобие деталей.Домик: CLIP выбрал изображение дома с распахнутым окном, снятого слишком близко. В итоговую серию вошёл вариант с чёрным небом и резным коньком на крыше.Жигули: Вместо игрушечного кабриолета рядом с неопределёнными обломками выбран седан со следами колёс и кратерами вокруг.Колодец: Выбран вариант с деревянной рамой и ведром над ямой с водой.Бельё: Отобран кадр, в котором астронавт действительно развешивает простыни, а не просто стоит рядом с шестом.Баня: Выбран вариант сруба с трубой на фоне чёрного неба.Будка: Отобран вариант с пустой миской и цепью, без собаки, поскольку животное не соответствовало задуманному сюжету лунной серии.

Подписи составлены по образцу каталогов NASA: номер, объект, что в кадре. Номер кассеты 14 соответствует номеру участка. Экспедиции «Аполлон-20» не было, все кадры сгенерированы.