Концепция
Целью проекта было обучение нейросети, способной понимать и воспроизводить художественные стили знаменитых художников. Нейросеть учится на подготовленном наборе данных, состоящем из картин художника, анализирует уникальный творческий стиль и пытается его воссоздать.
В данном проекте в качестве основы для обучения нейросети я выбрала работы швейцарского художника, знаменитого своими мрачными сюжетами и с узнаваемым в поп-культуре стилем — Ганса Рудольфа Гигера.
Мне показалось интересным для данного проекта взять именно творчество Гигера из-за объединения механического и человеческого (биомеханики) на его картинах, в чем можно провести интересную параллель с искусственным интеллектом.
Датасет
«Полтргейст», Ганс Рудольф Гигер, 1985
Для датасета были собраны картины Гигера, с главным фокусом на типичные для художника изображения антропоморфных существ и существ с механическими частями тел.
«Полтргейст — Примитивное создание», Ганс Рудольф Гигер, 1985
«Кармен», Ганс Рудольф Гигер, 1989
Все работы Гигера были обрезаны в соотношение 512Х512 в качестве подготовки изображений для обучения нейросети.
«Набережная в дыму», Ганс Рудольф Гигер, 1985
Процесс обучения
Инструменты:
1. Google collab — написание кода
2. Stable diffusion — генеративная модель для обучения
3. Hugging face — получение токена
Часть кода по обучении нейросети — скрин экрана
Первым шагом работы была установка библиотек. Далее был загружен подготовленный вручную датасет из картин Гигера.
Часть кода по обучении нейросети — скрин экрана
Важной частью для работы нейросети и ее понимания была генерация промптов к загруженным изображениям.
Код для обучения модели и генерации изображений — скрин экрана
Полноценный код можно увидеть по ссылке предоставленной ниже, а сама модель доступна на Hugging Face.
Ссылка на блокнот с кодом
https://colab.research.google.com/drive/14RHVQ1pNvPj860Q5j2hPVriqDQ8nK5I6?usp=sharing
Модель на Hugging Face
https://huggingface.co/mayakkkkkk/giger_style_LoRA
Применение модели
1. «moscow, russia»; 2. «times square, new york»
Нейросеть очень удачно и четко передает стиль Гигера, но не передает промпты, далекие от типичного творчества художника. Так, в экспериментальных запросах с локациями в промпте, результат ярко отображает стиль Гигера, но не указанный промпт.
1. «a castle»; 2. «skyscraper»
«blue skeleton floating»
Нейросеть отлично справляется с мрачными сюжетами, скелетами и монстрами.
1. «an animalistic giant burning»; 2. «monstrous animal on a hill»
Нейросеть изображает очень ярких монструозных существ, четко отображающих в своей сути стиль Гигера.
«three monsters fighting»
