Идея
Мне захотелось обучить генеративную нейросеть Stable Diffusion на своих рисунках, потому что мне было интересно посмотреть, сможет ли модель уловить мой собственный визуальный стиль. В моих работах важны лицо, кожа, яркие тени и блики, а также необычная, запоминающаяся внешность персонажей. Идея проекта родилась из наблюдений за людьми в корпусе, где я учусь: мне запоминались отдельные студенты с ярким образом, и захотелось попробовать воссоздать такие типажи через ИИ, уже по памяти и в своём стиле.
Главная цель проекта — проверить, насколько нейросеть сможет приблизиться к моему способу рисования и создавать новых персонажей, которые будут выглядеть так, будто я действительно могла их нарисовать сама. Мне было важно, чтобы модель передавала мои характерные особенности: акцент на лице и коже, выразительное освещение, насыщенные тени.
Список использованных в проекте инструментов:
— Stable Diffusion XL + DreamBooth LoRA — обучение генеративной нейросети под мой стиль; — Google Colab — выполнение кода, обучение модели и генерация изображений; — Hugging Face — загрузка базовой модели и работа с нейросетевой инфраструктурой; — Adobe Photoshop — подготовка рисунков и оформление итоговых результатов.
Описание процесса обучения
Проверить, подключён ли GPU, чтобы обучение и генерация проходили быстрее. Нужно устанавить все нужные библиотеки для работы со Stable Diffusion, LoRA и DreamBooth. Загрузить обучающий скрипт, который потом используется для запуска обучения модели. Задать основные параметры проекта: папки, токен стиля и текстовое описание того, чему должна обучиться нейросеть.
Загрузить изображения в Google Colab и помещает их в папку для обучения. Запустить обучение модели на загруженных рисунках.
Проверить, сохранились ли после обучения веса модели в выходной папке. Загрузить базовую модель Stable Diffusion XL и подключает к ней обученные LoRA-веса, чтобы можно было генерировать новые изображения.
Что получилось:
Промпты: Stylized portrait of a young adult woman with short blue hair, shaved eyebrow slit, glossy skin, bright highlights, unusual designer appearance
Stylized portrait of a young adult man with bleached buzzcut, silver earring, sharp cheekbones, vivid shadows, expressive face, alternative fashion look
myportraitstyle stylized portrait of a young adult person with pink and orange bob haircut, freckles, luminous skin, strong highlights, creative student look
myportraitstyle stylized portrait of a young adult woman with dark curly hair and neon green strands, bold makeup, bright skin reflections, unusual stylish appearance
myportraitstyle stylized portrait of a young adult man with long straight black hair, pale skin, bright blush tones, dramatic highlights, artistic fashion look
stylized portrait of a young adult person with asymmetric haircut, light eyebrows, vivid skin tones, strong facial lighting, unconventional designer style
myportraitstyle stylized portrait of a young adult woman wearing a bright red jacket and large silver earrings, expressive face, detailed skin, bright shadows and highlights, unusual designer appearance
myportraitstyle stylized portrait of a young adult man wearing a vivid yellow hoodie and layered necklaces, sharp cheekbones, expressive face, bright skin reflections, alternative fashion look
myportraitstyle stylized portrait of a young adult man wearing a cobalt blue sweater and patterned scarf, pale skin, dramatic highlights, artistic fashion look
myportraitstyle stylized portrait of a young adult person wearing a vivid pink shirt and chunky jewelry, expressive face, strong facial lighting, unconventional designer style
