Мне стало интересно, как привычные предметы меняют своё восприятие, когда оказываются в совершенно непривычной для них среде.
Так появилась идея проекта «Не на своём месте» — серии изображений, в которой обычные повседневные вещи помещены в пустые монументальные пространства бруталистской архитектуры.
Я хотела передать ощущение тишины и одиночества через контраст между небольшими предметами и огромными бетонными сооружениями. Здесь вещи будто случайно оказались не там, где должны быть.
Примеры изображений из исходного Датасета OUT OF PLACE.
Создание датасета
Для обучения модели я решила создать собственный набор изображений с помощью искусственного интеллекта. Все 24 изображения были сгенерированы в ChatGPT с помощью инструмента генерации изображений.
Я использовала отдельные текстовые запросы для каждого предмета, но сохраняла общие визуальные характеристики: бруталистскую архитектуру, тёплые оттенки бетона, жёсткий солнечный свет и длинные геометрические тени.
Таким образом, мне удалось собрать датасет с разными предметами, но в едином визуальном стиле.
Исходный датасет из 24 изображений, сгенерированных с помощью ChatGPT.
Обучение модели
Для обучения я использовала Stable Diffusion XL и метод DreamBooth LoRA, взяв за основу учебный ноутбук преподавателя.
LoRA позволяет адаптировать готовую модель к определённому визуальному стилю без полного переобучения.
Моя задача заключалась в том, чтобы модель научилась воспроизводить особенности исходных изображений: бетонную архитектуру, тёплую цветовую гамму, жёсткое освещение и минималистичные композиции.
Параметры обучения SDXL DreamBooth LoRA
Ошибка при обучении
Во время запуска обучения я столкнулась с ошибкой совместимости библиотек torchao и peft. Из-за конфликта их версий процесс обучения останавливался.
Чтобы решить проблему, я удалила конфликтующую библиотеку torchao и перезапустила среду выполнения Google Colab.
После этого я смогла продолжить обучение модели.
Результат обучения
После исправления ошибки я повторно запустила обучение модели на подготовленном датасете из 24 изображений.
Обучение было рассчитано на 300 шагов. Полученные веса LoRA сохраняются отдельно от основной модели SDXL, поэтому их можно использовать для создания новых изображений в изученном визуальном стиле.
Обучение SDXL DreamBooth LoRA завершилось за 300 шагов, примерно за 36 минут. Итоговое значение loss составило 0,108.
Генерация новых изображений
После завершения обучения я перешла к проверке полученной LoRA.
Для этого я использовала новые текстовые запросы с маркером `OOPSTYLE`, который был добавлен к описаниям изображений во время подготовки датасета.
Я выбрала предметы, которых не было среди исходных 24 изображений. Так я хотела проверить, сможет ли модель сохранить изученный визуальный стиль при генерации новых сюжетов, а не просто повторять примеры из датасета.
Генерация новых изображений с использованием обученной LoRA
Итоговая серия — OUT OF PLACE
После 300 шагов обучения я получила новую серию из восьми изображений. В отличие от исходного датасета, здесь использовались новые предметы, которых модель не видела во время обучения.
Мне было интересно посмотреть, насколько хорошо она сможет сохранить заданную атмосферу и визуальный стиль.
Вывод
В ходе проекта я собрала датасет из 24 изображений, сгенерированных в ChatGPT, и обучила Stable Diffusion XL с помощью DreamBooth LoRA. После 300 шагов обучения получила серию из восьми новых изображений.
Модель хорошо переняла основные особенности стиля: тёплую цветовую гамму, фактуру бетона, монументальную архитектуру и резкие геометрические тени. Особенно удачными получились изображения с телефоном, шахматным конём и чайником.
При этом некоторые композиции получились слишком похожими, а в отдельных предметах появились неточности, например в изображениях с ложкой и ключом. В целом эксперимент показал, что даже небольшой датасет позволяет передать модели узнаваемый визуальный стиль.
