Ксенолингвистический аудио движок — разговор с инопланетным торговцем в UE5
Аудио-генерация инопланетных языков для проектов с процедурно генерируемыми мирами
Представьте себе No Man’s Sky, где можно поговорить с каждым инопланетянином — и тот ответит на своем реальном языке.
Другая ситуация — актеру озвучки вместе с саундизайнером нужно создать 500+ звуковых файлов и это только для одной расы. Часто это заменяют случайными звуками для каждой буквы. Но это не язык — это звуковой UI. Для иммерсивности и AAA качества не подходит.
Ниже — самый первый пруф концепта. Созданные из базовых волн в Phase plant войслайны с базовой физической симуляцией органов речи. Это реально, нужно лишь сделать реализовать это в движке и выйти на AAA уровень качества
Актуальность
С недавнего времени ИИ научились декомпилиривать код игр. В октябре–сентябре появлялись переписанные версии Elden Ring, minecraft на rust. Локальные модели становятся сильнее, их вставляют в моды на Skyrim, где ты можешь общаться с NPC через GGUF модель. А моды это предвестник будущего (cs, dota были модами). Для жанра игр с процедурной генерацией это очень акутально, где сама идея в открытом мире и нелинейном диалоге.
Вопросы на которые предстоит ответить
Кому продаём и кто платит: студии AA/AAA, sci-fi RPG, VR/симуляторы — или middleware-лицензия?
Сколько стоит реплика сейчас и сколько будет (актёр + студия + локализация vs процедурно)?
Как масштабируется на N видов и NPC; кто и за сколько добавляет новый язык?
Как гарантируется консистентность и качество (детерминизм, QA)?
Риски: AI-регулирование, лицензии данных
Тех стек
Runtime: Unreal Engine 5 · MetaSound · C++ (кастомные ноды) · Audio Volumes
Язык: C++ ядро (seed → корни → фонотактика → просодия) · Python-прототип
Голос: синтез wavetable → модальный/формантный тракт → тело (IR/конволюция) → нелинейность → пространство (в движке)
AI: whisper.cpp (ASR) · llama.cpp + малая LLM (семантика → JSON)
Данные: PHOIBLE · Panphon · xeno-canto · NOAA/Watkins · Macaulay
Лаборатория: REAPER · Phase Plant
