AI EATS AI

Как художнику мне неприятно смотреть на то, как работы людей, с часами труда и годами опыта перерабатывают нейросетям часто нарушая авторское право. Эти же нейросети потом используют в рекламе, которая по идее должна показывать усилие производителя понравиться покупателю: люди вкладывают открытки, нанимают дизайнеров и художников именно для того, чтобы показать что им есть дело, они вкладываются в продукт. Искусство — самое человеческое, что есть, в итоге отдается как корм процедурной машине.

Поэтому я не хочу красть у художников работы для датасета. Датасет для обучения модели собран из самого же ИИ, а именно старого ИИ до 2022 года. Именно в тех моделях ещё оставался тот самый вайб, который им и положено было иметь: что-то странное, искусственное, не до конца понимающее реальность.Особенно завораживает эстетика раннего нейросетевого аниме.

Мне кажется, эта завороженность объясняется тем, что сам ИИ не понимает, что рисует — это как пытаться объяснить, что такое собака, тому, кто никогда её не видел, а потом попросить нарисовать.Результат выглядит знакомо, но информации не хватает, и мозг (в данном случае — модель) сам додумывает недостающее. Отдельно меня завораживает сама концепция того, что нейросеть в этом проекте буквально «ест» сама себя — обучается на продукте другой генеративной модели, а не на человеческом искусстве.

Датасет собран из 18 нейроартов с сайта arthub.ai (материалы датированы периодом до 2022 года), и найденных через Pinterest. Все изображения приведены к квадратному формату (1:1).

Для обучения использовался Stable Diffusion, метод — LoRA поверх базовой модели с уклоном в аниме-стилистику (hakurei/waifu-diffusion), чтобы модели не приходилось выучивать аниме с нуля на 18 изображениях.

Первый эксперимент с рандомными промптами и без hakurei/waifu-diffusion дал плохо сгенерированные картинки, тянущие в сторону реализма — совсем не то, что задумывалось. После этого промпты были переписаны под явный аниме (с ключевыми словами про глитч, uncanny), что и дало нужное направление.

Рваный контур, розово-неоновые тона, самая нестабильная зона — глаза (асимметрия, двоение, металлические блики вместо роговицы).
Разброс получился от аниме с глитчами к хоррору. Впринципе, поедание самого себя выглядит жутко.