Исходный размер 1140x1600

Обучение генеративной нейросети под собственный стиль

Проект принимает участие в конкурсе

AIRGLYPH — аэрозольные графемы

Идея проекта

Меня всегда интересовала экспериментальная типографика — особенно момент, когда буква перестаёт быть просто знаком и превращается в самостоятельный графический объект.В основе AIRGLYPH лежит серия авторских изображений, созданных с помощью цифровой аэрозольной техники. Мягкие распылённые края, зернистая фактура, яркие цвета и свободная пластика линий формируют единый визуальный язык, в котором буквы соседствуют с абстрактными символами.

Мне стало интересно, сможет ли генеративная нейросеть научиться воспроизводить эти характеристики и самостоятельно предлагать новые формы.

Задача заключалась не в создании полноценного шрифта, а в разработке инструмента для визуального поиска — генератора графем, которые можно использовать как самостоятельные изображения или отправные точки для дальнейшей дизайнерской работы.

Исходный датасет

Для обучения я подготовила набор из 20 собственных изображений. В него вошли буквы, цифры, знаки препинания и абстрактные формы: петли, спирали, звезда, сердце, цветок и другие графические элементы.Все изображения объединены несколькими характеристиками: белым фоном, насыщенной цветовой палитрой, мягкими аэрозольными границами и простотой построения.

big
Исходный размер 3840x2160

Каждый рисунок представляет собой отдельную композицию в квадратном формате. Для обучения изображения были приведены к разрешению 512 × 512 пикселей.Я стремилась собрать разнообразные формы, сохранив общий характер штриха, чтобы модель изучала не конкретный символ, а визуальные закономерности всей серии.

Подготовка и процесс обучения

Исходный размер 2880x1252

Для эксперимента я использовала Stable Diffusion 1.5 и метод дообучения DreamBooth + LoRA.LoRA позволяет адаптировать существующую генеративную модель к определённому визуальному стилю без необходимости обучать всю нейросеть с нуля.Рабочая среда была организована в Google Colab с графическим процессором NVIDIA Tesla T4. Для обучения использовался скрипт из библиотеки Hugging Face Diffusers.Все изображения получили общее текстовое описание со специальным стилевым идентификатором airglyphstyle. Этот идентификатор связывает аэрозольную фактуру и характер графических форм с пользовательским запросом при последующей генерации.

Основные параметры обучения:Базовая модель: Stable Diffusion 1.5Метод: DreamBooth LoRAОбъём датасета: 20 изображенийРазрешение: 512 × 512Количество шагов: 600Learning rate: 0.0001LoRA rank: 8Batch size: 1После завершения обучения были сохранены веса модели в формате .safetensors.

Первые генерации

На следующем этапе я предложила обученной модели создать новые графические формы: спирали, петли, цветочные символы, волнообразные линии и абстрактные знаки.Результаты показали, что нейросеть частично переняла характер исходного визуального языка. На изображениях появились мягкие границы, толстые округлые штрихи, яркие цвета и органические переплетения.Однако модель не всегда сохраняла ограничения исходного датасета. Вместо одного цветного знака на белом фоне она иногда создавала многослойные композиции, использовала дополнительные цвета и заменяла белый фон серым или цветным.Это стало важным наблюдением: модель смогла воспроизводить отдельные характеристики аэрозольной графики, но не полностью усвоила систему её построения.

0
1/3

Эксперименты с промптами

После первой серии генераций я решила проверить, можно ли точнее управлять результатами с помощью текстовых запросов.Для этого были составлены новые промпты с конкретными указаниями формы, цвета, количества штрихов и характера фона. Дополнительно использовался negative prompt, призванный исключить объёмные эффекты, тёмные контуры, сложные переплетения и посторонние элементы.Однако повторная генерация не дала ожидаемого результата. Несмотря на более подробные инструкции, модель продолжала создавать многослойные композиции, смешивать цвета и изменять фон.Эксперимент показал, что в текущей версии обученной LoRA текстовые запросы не обеспечивают достаточного контроля над визуальными характеристиками изображений. Модель частично воспроизводит аэрозольную фактуру, но неустойчиво соблюдает композиционные ограничения.Это позволило выявить необходимость дальнейшей работы с обучающим датасетом и его текстовыми описаниями.

Результат

Исходный размер 2912x1388

AIRGLYPH стал экспериментом на пересечении авторской графики, экспериментальной типографики и генеративного дизайна.В полученных изображениях можно увидеть новые вариации петель, изгибов и абстрактных знаков, которые не были напрямую скопированы из исходного набора.Наиболее убедительно модель передала мягкость аэрозольного штриха, размытые края и свободную пластику форм. Менее стабильными оказались белый фон, одноцветность знаков и точность заданной композиции.Для меня важен сам принцип взаимодействия: нейросеть не заменяет дизайнера, а предлагает неожиданные формы, которые можно отбирать, анализировать и развивать вручную.В дальнейшем я хотела бы расширить датасет и дополнить изображения индивидуальными текстовыми описаниями, чтобы точнее контролировать форму, цвет и композицию генерируемых графем.

Описание применения генеративной модели

В проекте использовалась базовая генеративная модель Stable Diffusion 1.5, дообученная методом DreamBooth LoRA на собственном датасете из 20 авторских изображений.Обучение и генерация выполнялись в Google Colab с использованием библиотеки Hugging Face Diffusers.Дополнительно использовался ChatGPT для помощи в подготовке программного кода, поиске технических ошибок, разработке промптов и работе с текстовым описанием проекта.Модель: https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5Инструменты обучения: https://github.com/huggingface/diffusersКод проекта: [https://colab.research.google.com/drive/1jElB82QRSRtrHqF6wUV9-qXxNbttEgGd?hl=ru#scrollTo=4e098367].

Обучение генеративной нейросети под собственный стиль
Проект создан 26.10.2026