SOLRFX

Для обучения модели был собран датасет
из 18 фотографий, демонстрирующих эффект соляризации. Основой исследования стали работы Ман Рэя 1920–1930-х годов, представленные в музейных коллекциях и фотографических архивах.При изучении материала использовались цифровые коллекции The Metropolitan Museum of Art, Centre Pompidou.Все 18 изображений были подготовлены в квадратном формате 1200 × 1200 пикселей и сохранены в JPG.

При отборе изображений основное внимание уделялось характерным особенностям соляризации: частичной инверсии тонов, световым ореолам и контрастным линиям на границах светлых и темных участков.Большую часть датасета составили портреты и изображения человеческого тела, поскольку на этих объектах особенно отчетливо проявляются характерные контуры соляризации. При этом были включены и другие сюжеты, чтобы модель могла усваивать особенности фотографического эффекта, не связывая его исключительно с изображением человека.

В результате обучения модель SOLRFX научилась воспроизводить характерные визуальные особенности соляризованной фотографии: монохромную тональность, контрастные контуры, световые ореолы и необычные переходы между светом и тенью.Итоговая серия из восьми изображений демонстрирует, как эти особенности проявляются на объектах с разными формами и фактурами — от человеческого тела и органических форм до отражающих и прозрачных поверхностей.На портрете и изображении рук эффект выражается преимущественно через мягкие тональные переходы и подчеркнутые контуры, на цветке и раковине — через контрастное выделение фактуры и объема. В изображениях зеркала, жемчуга и стекла особую роль играют блики и отражения, а в композиции с тканью — взаимодействие полупрозрачных слоев света и тени.

Для обучения использовалась облачная среда Kaggle с видеокартой NVIDIA T4. Сначала были установлены необходимые библиотеки, включая diffusers 0.35.1, transformers, accelerate и peft, а также загружен скрипт DreamBooth LoRA для Stable Diffusion XL.

В Kaggle был вручную загружен датасет из 18 фотографий с эффектом соляризации. Для каждой фотографии была составлена индивидуальная текстовая подпись, описывающая ее сюжет, композицию и характерные визуальные особенности.Это позволило разделить содержание фотографий и общие характеристики эффекта. Кроме индивидуальных описаний, ко всем изображениям добавлялась единая триггерная фраза «SOLRFX style», с помощью которой модель училась связывать соляризацию с определнным текстовым запросом.

Для дообучения Stable Diffusion XL использовался метод DreamBooth + LoRA с разрешением 768 × 768 пикселей, LoRA rank 16 и learning rate 1e-4.Обучение было разделено на четыре контрольные точки: 200, 500, 600 и 800 шагов. На каждом этапе сохранялись веса LoRA, после чего обучение продолжалось от предыдущего чекпоинта.Такой подход позволил проследить, как постепенно меняется способность модели воспроизводить характерные особенности соляризации, и сравнить результаты без повторного запуска обучения с нуля.

Для сравнения четырех версий модели использовались одинаковые текстовые запросы и фиксированные значения seed. Это позволило оценить влияние именно продолжительности обучения на полученные изображения.Эксперименты проводились на трех сюжетах: женском портрете, цветке каллы и морской раковине. При оценке учитывались выраженность контуров, частичная инверсия тонов, передача световых ореолов и сохранение формы объекта.Наиболее удачный баланс между стилистической выразительностью и узнаваемостью предметов показала версия после 600 шагов обучения. Она была выбрана для дальнейших экспериментов.

После выбора модели, обученной за 600 шагов, было исследовано влияние параметра LoRA scale, который определяет силу воздействия дообученных весов на генерацию.Для портрета, каллы и раковины сравнивались значения 0.6, 0.8, 1.0 и 1.2. При увеличении силы LoRA характерные признаки соляризации проявлялись заметнее, однако чрезмерное усиление не гарантировало более точного воспроизведения эффекта.Наиболее подходящими оказались значения 1.0–1.2. Для финальной серии было выбрано LoRA scale 1.0, обеспечивающее выразительную стилизацию при сохранении читаемости объектов.

Следующим этапом стала работа с текстовыми запросами. На модели после 600 шагов были протестированы три подхода к описанию соляризации: классический эффект Сабатье, усиленная инверсия тонов и более радикальная экспериментальная соляризация.В промптах менялись формулировки, связанные с частичным обращением тонов, контрастными контурами и взаимодействием светлых и темных участков. Дополнительно использовался негативный промпт, исключающий цветную фотографию, иллюстративность, 3D-рендеринг и другие нежелательные характеристики.Эксперимент показал, что результат зависит не только от степени обучения модели, но и от точности описания желаемого фотографического эффекта.

Для финальной генерации использовалась версия модели после 600 шагов обучения с LoRA scale 1.0.Была создана серия из восьми изображений с различными объектами: портретом, руками, цветком, раковиной, зеркалом, жемчугом, тканью и стеклом.Все изображения генерировались в разрешении 768 × 768 пикселей с 35 шагами инференса и guidance scale 7.5. Для каждого сюжета использовался отдельный текстовый запрос, дополненный общим описанием соляризации.Готовые изображения были объединены в контактный лист и сохранены в ZIP-архив для дальнейшего анализа и оформления проекта.

Для оценки результатов обучения я сравнила четыре версии модели после 200, 500, 600 и 800 шагов, используя одинаковые промпты и seed.На 200 шагах модель уже воспроизводит общую монохромную стилистику и контрастные контуры, но эффект соляризации остаётся преимущественно декоративным. На 500 шагах изображение становится более сглаженным, а характерные тональные переходы выражены слабее.На 600 шагах появляются более сложные переходы между светом и тенью, усиливаются темные контуры и локальные изменения тональности внутри лепестков. На 800 шагах контраст продолжает возрастать, однако отдельные участки становятся чрезмерно светлыми, теряя детали.Поэтому для дальнейших экспериментов была выбрана версия после 600 шагов — наиболее удачная по сочетанию выразительности эффекта и сохранения формы объекта.