Концепция проекта
В 1904 году немецкий зоолог Эрнст Геккель закончил издавать книгу «Формы искусства природы». Это сто таблиц, на которых радиолярии, медузы, кораллы, мхи и орхидеи выстроены в симметричные, почти орнаментальные композиции. Геккель, который ввёл в науку слово «экология», хотел показать, что природа сама создаёт искусство. Книга стала источником форм для модерна: вдохновлённый радиоляриями Геккеля, архитектор Рене Бине построил главные ворота Всемирной выставки 1900 года в Париже.С тех пор среда вокруг человека изменилась. В 2020 году в журнале Nature вышел расчёт: масса всего, что создано людьми (бетон, металл, пластик, техника), сравнялась с массой всей живой биомассы Земли. Кабели, чипы, антенны и экраны стали ландшафтом, в котором мы живём так же привычно, как моллюск в своей раковине.Проект задаёт вопрос: как выглядела бы эта новая «природа», если бы её описал натуралист 1904 года?
Исходные изображения для обучения
Источники и права использования:— Датасет состоит из всех ста таблиц «Kunstformen der Natur» (Лейпциг и Вена, Библиографический институт, 1904). Рисунки сделаны Геккелем, литографии выполнены Адольфом Гильчем
— Книга издана более ста лет назад, её авторы давно умерли, и таблицы находятся в общественном достоянии
— Сканы взяты с Wikimedia Commons
Отбор
Все сто листов сделаны в одной технике, одной мастерской и для одной книги. Для обучения стиля это идеальная ситуация: манера постоянна, а сюжеты разные (от одноклеточных до антилоп). Модели проще понять, что общее для всех картинок и есть стиль
Форма изображения
Оригинальные листы вытянуты по вертикали (примерно 1:1,4). Скрипт scripts/prepare_dataset.py вырезает из каждого центральный квадрат и уменьшает до 1024×1024. Центр листа выбран потому, что композиции Геккеля строятся вокруг центральной оси, а заголовки и подписи таблиц остаются за кадром
Подписи
К каждому изображению написана подпись по одной схеме: триггер, тип листа, сюжет, палитра, фон:kdn style scientific plate, star shaped acantharian radiolarians, golden yellow and ochre, pale cream background
Обучение модели
Использовано дообучение DreamBooth LoRA для Stable Diffusion XL base 1.0. Веса самой SDXL не меняются. В слои внимания нейросети UNet добавляются небольшие матрицы низкого ранга (LoRA), и обучаются только они. Итог занимает около 180 МБ и подключается к базовой модели как «насадка», силу которой можно регулировать
Обучение запускается официальным скриптом train_dreambooth_lora_sdxl.py из библиотеки diffusers
график функции потерь
Функция потерь диффузионной модели шумная: на каждом шаге картинка зашумляется на случайную величину, и ошибка сильно зависит от этой величины. Поэтому на графике важно скользящее среднее. Отдельные шаги прыгают от 0,01 до 0,35, а среднее по 25 шагам держится в коридоре 0,07-0,19 и за 1000 шагов заметно не снижается. Резкого падения здесь не бывает: SDXL уже умеет рисовать, LoRA лишь смещает её к манере Геккеля. Поэтому качество оценивалось по картинкам
одна таблица на шагах 0, 250, 500, 750, 1000
Одна и та же таблица 101 с одинаковым seed после разного числа шагов обучения. Шаг 0 означает базовую модель без LoRA: она рисует золотую мандалу, плоский декоративный орнамент. Уже к 250 шагу появляется устройство таблицы: лист делится на поля, вокруг центральной формы встают отдельные «экземпляры». К 500 шагу складывается композиция Геккеля: крупный экземпляр в центре, круглые формы по углам, мелкие детали по краям, чёрный фон. Шаги 750 и 1000 почти не отличаются от 500, меняются только мелкие детали. Значит, 1000 шагов хватает, а признаков переобучения нет: модель не копирует конкретные таблицы датасета и не рисует их подписи
Генерации серий изображений
Книга Геккеля заканчивается таблицей 100. Серия продолжает нумерацию и делится на три главы, повторяя логику определителя: от микроскопического к крупному, от моря к суше. Палитры и фоны взяты из реальных таблиц Геккеля, чтобы новые листы выглядели как часть того же издания
На основе промтов получена серия из 12 изображений
Микромир данных:
- «Радиолярии микропроцессорные» — многие радиолярии строят скелеты из кремнезёма, микросхемы делают из кремния. Один химический элемент, две разные архитектуры: решётчатая сфера и печатная плата. На таблице они сливаются: ажурные оболочки радиолярий собраны из золотых дорожек, как плата под микроскопом
- «Диатомеи пиксельные» — иатомовые водоросли живут в кремнезёмных «стеклянных» панцирях. Здесь панцири стали экранами смартфонов и сенсорными панелями, а их узор превратился в сетку пикселей
- «Слизевики сетевые» — в 2010 году японские учёные показали, что слизевик, растущий к кусочкам еды, воспроизводит схему железных дорог вокруг Токио. Здесь слизевики сами стали сетью: светящиеся плодовые тела на длинных ножках соединены нитями, похожими на пучки оптоволокна
- «Аммониты магнитные» — по раковинам аммонитов геологи датируют слои горных пород. Свёрнутая магнитная лента, кассеты и пластины жёстких дисков вполне могут стать такими же руководящими ископаемыми антропоцена. Среди спиральных раковин на таблице лежат металлические обломки, а сами спирали напоминают намотанную ленту
Кабельное море:
- «Медузы акустические» — колокол центральной медузы подвешен на проводе, как чашка наушников, а по бокам плавают маленькие медузы-вкладыши со штекерами на шнурах. Бирюзовый фон взят из таблицы 78 с кубомедузами
