Как я сделал голосовых NPC в Unity с помощью LLM: Пошаговое руководство

[NemoVors]

Представь, что будет, когда это войдёт в продакшн AAA игр с нормальными моделями и нормальными ресурсами.

Главное, чтобы это не было похоже на ММО, где вокруг все игроки очень "альтернативно одаренные". Потому как пока нейросетис частыми галлюцинациями периодическим зацикливанием вызывают только такую картинку. С другой стороны, если удерживать нейросети в неких рамках, чтобы они не велись на выход из роли типа: "служанка в таверне, подскажи как написать питон скрипт" и прочие "отполируй мое копье" (для некоторых игр это можно и не ограничивать), то может статься это и сделает игры интереснее.

Космические рейнджеры с живыми диалогами в портах и живыми переговорами между пилотами... Хм... Я б поиграл.

[Guestishe]

Чтоб не выходили из роли в идеале нужно предобучать и обучать на фентезийных синтетических данных. Зачем селянину, да и архимагу знать 20 языков и квантовую физику?! Да и размер модели должен получиться вполне доступным для локального запуска.

[BlackMokona]

Да тут не нужно вообще искать и решать проблему в целом.
Если игрок хочет в РП, то он сам будет придерживаться роли и не просить писать скрипты на питоне и пояснять за Трампа.
Если игрок не хочет в РП, а просто развлекается. То пусть с Лютиком хоть размер тенаклей в хентае обсуждает.
Каждый получит своё.

[DirtyDead]

Все это конечно чудесно и я сам каждый раз бьюс в это, но есть несколько важных пунктов.

Первый - невозможность локальной работы

Второй - представьте объемы для любой игры в которой 1000 таких статистов. Настройка, описание историй, пропитание каждому своего характера и отладка что бы они не поубивали и не конфликтовали между собой займет огромное количество часов

Но реализация и сама концепция конечно хороши

[BlackMokona]

1.Есть ЛЛМ, для локальной работы. Поглупее но работает. С улучшением ЛЛМ и когда дефицит чипов закончится можно будет наладить массово, с качеством

2.Можно за этим опять же ЛЛМ посадить. От написания историй, до контроля чтобы не поубивали. Заодно стража в поселениях будет делами заниматься, а не скучать. А трупы всегда можно воскрешать, игровые условности. Благо там то фентези, то сайфай где воскрешение легко вписывается в канон мира

[NemoVors]

ну, технически, сейчас всей этой ораве надо прописывать и поведение и диалоги. А так тоже будет несколько базовых промптов и несколько модулей к ним. типа основной промпт: человек-имперец, второстепеннный: крестьянин, третьестепенный: вор, зарывший золотишко в подвале. Ну и сочетания между ними.

А чтоб не поубивали у большинства неписей просто запрет на враждебные действия, или какой-то счетчик настроения, который стремится к нейтральности, а от него нпс уже думает атаковать или нет. Если слишком часто не дербанить, то драка не начнется - счетчик будет успевать уходить на 0.

А насчет конфликтов - так они все равно не будут просчитываться вдали от игрока - там будет какая-то очень упрощенная симуляция, если игра типа космических рейнджеров. Или вообще выключаться для всех остальных вариантов.