ИДЕЯ ПРОЕКТА
Средневековые писцы заполняли поля рукописей маленькими рисунками: улитками, которые сражаются с рыцарями, кроликами в доспехах, монстрами с волынками. Эти рисунки не имели отношения к тексту, это был юмор, усталость и подтрунивание над собственным временем. Я обучила нейросеть рисовать в этой манере и попросила её нарисовать то, чего в Средневековье не существовало: смартфон, самокат, онлайн-созвон, дедлайн, курьерскую доставку. Получилась серия из десяти изображений. Три из них «чистые» маргиналии (контрольная группа), семь посвящены современной жизни.
ИСХОДНЫЙ ДАТАСЕТ
23 квадратных изображения 1024×1024 px (фрагменты полей рукописей, обрезанные в квадрат). В датасете улитки, фигуры в капюшонах и митрах, музыканты, гибридные существа, животные, всадники, обезьяны и кролики.
Некоторые изображения из датасета
Источники и лицензии
У всех изображений открытая лицензия (CC0).
Сражение с улиткой. Изображение // Псалтирь Ратленда. Англия, 1260 г. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Дует в зад… Изображение // Маастрихтский часослов. Бельгия, Льеж, первая четверть XIV века. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Рисунок в нижней полосе страницы. Изображение // Псалтырь Латтрелла. Англия, 1325–1340-е годы. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Епископ в непотребном виде. Изображение // Псалтырь Латтрелла. Англия, 1325–1340-е годы. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Псалтырь Латтрелла. Изображение. Англия, 1325–1340-е годы. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Гибридные существа. Изображение // Маастрихтский часослов. Бельгия, Льеж, первая четверть XIV века. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Смитфилдские декреталии. Изображение. Южная Франция, около 1340 г. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Епископ с телом ящерицы. Изображение // Маастрихтский часослов. Бельгия, Льеж, первая четверть XIV века. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).Изображение рыцаря Джеффри Латтрелла на коне. [Электронный ресурс] // Wikimedia Commons. URL: https://upload.wikimedia.org/wikipedia/commons/f/ff/LuttrellPsalterFol202vGeoffLutrellMounted.jpg (Дата обращения: 05.11.2025).Псалтырь Латтрелла. Ms. Add. 42130. Fol. 160v. Изображение. Англия, 1325–1340-е годы. — Лондон: Британская библиотека. URL: https://www.bl.uk/ (Дата обращения: 05.11.2025).[Изображение из коллекции манускриптов]. [Электронный ресурс] // Flickr. URL: https://c1.staticflickr.com/9/8539/29405326900_d6ba04c6dd_o.jpg (Дата обращения: 05.11.2025).Гибридные существа. [Электронный ресурс] // Википедия. URL: https://ru.wikipedia.org/wiki/Гибридные_существа (Дата обращения: 05.11.2025)
Сражение с улиткой. «Псалтирь Ратленда», Англия, 1260 г. Британская библиотека;«Псалтырь Латтрелла». Англия, 1325-1340-е годы. Британская библиотека;«Маастрихтский часослов». Бельгия, Льеж, первая четверть XIV века. Британская библиотека;«Маастрихтский часослов». Бельгия, Льеж, первая четверть XIV века. Британская библиотека;Декреталии папы Григория IX (Смитфилдские декреталии). Южная Франция, около 1340 года. Британская библиотека;Похороны Лиса Ренара. Горлестонская псалтырь. Англия, 1310–1324 годы. Британская библиотека;Епископ с хвостом-цветком. «Маастрихтский часослов». Бельгия, Льеж, первая четверть XIV века. Британская библиотека;Епископ с телом ящерицы и лапами зверя. «Маастрихтский часослов». Бельгия, Льеж, первая четверть XIV века. Британская библиотека;Обезьяна-лекарь рассматривает мочу пациентки монахини. «Маастрихтский часослов». Бельгия, Льеж, первая четверть XIV века. Британская библиотека;Рыцарь и улитка. Горлестонская псалтырь. Англия, 1310–1324 годы. Британская библиотека;«Маастрихтский часослов». Бельгия, Льеж, первая четверть XIV века. Британская библиотека;
Принцип отбора изображений
Брала только фрагменты с полей, а не основной текст. В кадре одна фигура или группа. Вырезала так, чтобы персонаж был виден целиком. Исключала картинки с крупным читаемым текстом.
ПРОЦЕСС ОБУЧЕНИЯ
Модель и метод
Базовая модель: Stable Diffusion XL 1.0 (stabilityai/stable-diffusion-xl-base-1.0), VAE: madebyollin/sdxl-vae-fp16-fix. Метод: DreamBooth + LoRA (скрипт train_dreambooth_lora_sdxl.py из библиотеки diffusers). Обучалась только небольшая надстройка LoRA, веса SDXL остались неизменными. Среда: Google Colab, GPU T4.
Параметры
токен стиля: mrgnl; базовая фраза: «medieval manuscript marginalia drawing in mrgnl style»;число шагов: 1000 (около 250 эпох по 23 изображениям), эффективный размер батча 6 (batch 2 × gradient accumulation 3);разрешение обучения: 512 px (ограничение памяти T4), разрешение датасета 1024 px;ранг LoRA: 16 (вместо 4 по умолчанию, чтобы лучше передать детали стиля);learning rate 1e-4, scheduler constant, snr_gamma 5.0;8-bit Adam, fp16, gradient checkpointing, чекпоинты каждые 250 шагов;seed 0;время обучения: 1 час 42 минуты; итоговый loss около 0.34.
Подписи
К каждому изображению автоматически создана подпись моделью BLIP (Salesforce/blip-image-captioning-base) с префиксом стиля, например: «medieval manuscript marginalia drawing in mrgnl style, a snail with a blue shell on its back». BLIP описывал рисунки в основном общими словами («a painting of a man on a horse»).
Что не получилось и как исправляла
Модель по умолчанию рисует буквы и «псевдотекст» на полях рукописи. Поэтому в негативный промпт добавлены слова text, letters, watermark.При весе LoRA 1.2 рисунок начинает ломаться, поэтому для серии выбран вес 1.0.
Ссылки
ИТОГОВАЯ СЕРИЯ
К каждому промпту добавлено начало «medieval manuscript marginalia drawing in mrgnl style». Негативный промпт: photo, photorealistic, 3d render, modern flat vector, text, letters, watermark, signature, blurry, low quality.
Классические сюжеты
«a knight in armor fighting a giant snail» / «a rabbit warrior with a spear and a shield» / «a hybrid monster playing a bagpipe»
Современные сюжеты
«a monk rabbit staring at a glowing smartphone» / «a knight riding an electric scooter»
«monsters in an online video call, each inside a small frame» / «a scribe monster buried under scrolls with a big clock, deadline»
