Франси́ско Хосе́ де Го́йя-и-Лусье́нтес — испанский живописец и график, один из первых и наиболее ярких художников эпохи романтизма.
портреты Гойи, подготовленные к процессу обучения, из заранее созданного датасета
Франсиско Гойя всегда был одним из моих любимых художников. Его узнаваемый необычный стиль живописи чуть меньше отразился на его портретах: несмотря на это, они все равно узнаваемы и спутать их с работами других авторов сложно.
портреты Гойи, подготовленные к процессу обучения, из заранее созданного датасета
Для генерации изображений я обучить модель на основе именно портретов Гойи и создать в его стиле ряд портретов современных людей, с которыми мы сталкиваемся каждый день.
подготовка к обучению
Для начала надо установить все необходимые для работы библиотеки. Также создаем переменную для базовой модели для дальнейшего дообучения.
Затем мы устанавливаем путь до папки с файлами для обучения: 69 изображений, заранее подготовленных для этой цели. Это цифровые репродукции картин Франсиско Гойи, взятые из открытых интернет-источников, кадрированные до соотношения сторон 1:1 и подогнанные под размер 1024×1024 пикселей.Следующим шагом было сделать небольшую демонстрацию материала в рамках блокнота.
Далее с помощью модели Blip назначаем картинкам из датасета подписи и выводим их в отдельный файл «metadata.jsonl».
В завершение процесса чистим память чтобы Blip не занимала видеокарту.
процесс обучения
Задаем параметры обучения: разрешение, шаг обучения и прочее.
Запускаем обучение :)
генерация
Задаем пайплайн генерации.Пишем первый промт и смотрим результат :)
Результат передает ощущение живописного портрета, созданного крупными мазками и с контрастным затененным фоном, характерным для живописи эпохи романтизма. Сгенерируем серию изображений и посмотрим, сохранятся ли эти черты в серии.
В итоге модель смогла воссоздать типичную для портрета композицию и светотень в каждой картинке. Также она хорошо справилась с изображением текстуры мазка и масляной краски и сгенерировала лица людей, одежду и аксессуары в характерной «живописной», не слишком реалистичной манере.Стиль Гойи не так ярко заметен, но видны некоторые характерные черты: темные крупные глаза, свойственный выбор цвета, прически и детали костюма.Можно подытожить, что более крупные свойства живописи Гойи были успешно «схвачены», но более тонкую работу модели проводить тяжело.
