Концепция
Я скучаю по своим поездкам в Стамбул и Вьетнам. Но когда вспоминаю эти поездки, в памяти возникают не только известные места, а какие-то случайные детали: двери, окна, растения, пустые улицы, цвета домов.
Мне стало интересно, может ли нейросеть научиться видеть мир так, как я видела его во время путешествий, и создать новые фотографии мест, в которых я никогда не была, но по которым могла бы скучать.
Цель проекта — обучить генеративную модель Stable Diffusion XL воспроизводить визуальный стиль моего личного фотоархива из путешествий по Стамбулу и Вьетнаму и использовать её для создания новых, несуществующих воспоминаний. Важно было проверить, насколько модель способна перенять не конкретные места и объекты, а особенности моей фотографии: цветовую гамму, композицию, освещение, внимание к повседневным деталям и общую атмосферу ностальгии. Итоговая серия «Спящие воспоминания» исследует, как реальные впечатления превращаются в воображаемые образы.
Примеры изображений, использованных для обучения генеративной модели
Датасет
Для обучения я собрала 51 фотографию из Стамбула и Вьетнама. В архив вошли улицы, здания, растения, интерьеры и случайные детали, которые я замечала во время прогулок. Фотографии довольно разные по композиции, освещению и качеству, и я сознательно не стала приводить их к единому визуальному стилю. Мне казалось, что такая неоднородность позволит модели создавать более непредсказуемые, немного сюрреалистичные изображения. Все фотографии были приведены к квадратному формату 1024 × 1024 пикселя.
Примеры изображений из Стамбула
Примеры изображений, использованных для обучения генеративной модели
Примеры изображений из Вьетнама
Примеры изображений, использованных для обучения генеративной модели
Процесс обучения
Для обучения я собрала 51 фотографию из Стамбула и Вьетнама. Снимки были преобразованы из HEIC в JPG и обрезаны до квадратного формата 1024 × 1024 пикселя. Я сознательно оставила в датасете разные по цвету, освещению и чёткости фотографии, поскольку хотела, чтобы нейросеть усвоила не строгий единый стиль, а скорее общее ощущение моего фотоархива.
Работа выполнялась в Google Colab с использованием GPU T4. В качестве базовой модели я использовала Stable Diffusion XL 1.0, которую дообучила методом DreamBooth LoRA на собственных фотографиях. Этот метод позволяет адаптировать нейросеть под новый визуальный стиль без полного переобучения модели.
На следующем этапе с помощью BLIP были автоматически созданы описания фотографий. К ним добавлялся маркер SLEEPMEM style, по которому модель должна была узнавать особенности обучающего набора. Обучение проводилось с помощью скрипта train_dreambooth_lora_sdxl.py: использовались разрешение 512 × 512 пикселей, смешанная точность FP16, оптимизация памяти и 500 шагов обучения.
После обучения полученные веса LoRA были подключены к Stable Diffusion XL. Для генерации я использовала новые текстовые запросы с маркером SLEEPMEM style. Сначала я создавала изображения городских пространств, а затем перешла к предметам, цветам и интерьерам, чтобы проверить, как модель переносит особенности исходного архива на другие сюжеты. Итоговые изображения генерировались в разрешении 1024 × 1024 пикселя.
Результирующие изображения и их анализ
(Это были самые первые результаты, но разрешение было маленькое)
В итоговой серии представлены несуществующие места и предметы: старые фасады, пустые кафе, растения, цветы, мебель и небольшие бытовые детали. Я специально использовала разные запросы, чтобы проверить, сможет ли модель перенести особенности исходного архива на новые сюжеты.
