MTP особенно полезен на крупной модели. На 432 миллиардах параметров каждый шаг генерации дорогой, а без MTP он даёт только один токен.
Но ведь у вас MoE'шка 432B-A28B , а значит MTP ускорят не 432b генерацию, а 28B генерацию. Казалось бы это понятно, но статья такими фразами вводит в заблуждение.
В целом, как я понял, переезд с deepseek v3-alike архитектуры на qwen-alike архитектуру и обучение на собственных датасетах лучшего качества. Размеры только странные, вроде похоже на qwen397-a17b, но активация сильно выше. Хотелось бы конечно посмотреть бенчи в сравнении с каким-нибудь qwen27b, но что есть то есть. Спасибо за статью, спасибо за модель.
Не понятно только зачем делать любой сервис в РФ если база пользователей тебе больше не принадлежит, а принадлежит случайным чиновникам. Кроме сервисов со сверхбыстрой ремонетизацией. Чебурнет без пользователей и без сервисов. Зато отчетов будет нарисовано.
синус это на столько примитивная абстракция что непонятно в чем претензия. Проблема в том что этих ротационных движений и проекций в жизни так много, что все подряд объясняют через синус.
есть две проблемы: умные LLM будут подключаться по облаку, устанете за api платить. Локальные занимают vram - вместе с игрой не поместиться. Вторая проблема - добиться консистентности, т.е. в каждом запросе к LLM добавить - болтай с игроком, но по итогу выведи разговор на _*task1*_, а потом всю логическую цепочку проверить taskov-goalov. И так проблематично, а теперь ещё сложность LLM добавляется, когда глупая не работает, а умная - дорого.
Ну и реальность - мало кто с этим умеет работать, год назад LLM в бизнес внедрять физически было некому, а тут эксперты по Ai-персонажам в рамках игрового процесса только появляются. Все будет, просто не за день.
а этот граф ресурсов прям очень нужен? стандартного списка и поиску по списку не хватает? я вот думаю в свою систему запилить к глобальной системе знаний семантический поиск, и то уже пол года думаю зачем?
вам нужно смотреть, желательно видео на ютубах, там все разжевано, в основном люди используют razer переходник pcie и хаб под них. дешевые работают плохо.
Сколько же тут нейрослопа то по поводу банального json-перекладывания и json-хранения. Особенно вот это:
Документация должна быть относительно спокойной.
Чиво?
спор о памяти для AI-агентов начинается не с выбора между markdown и Obsidian
Этот спор вообще существует? Все что нужно знать, агенты работает с контекстом. как вы будете этот контекст наполнять - вопрос удобства. хотите .md конвенциональные, хотите делайте файлы "этооченьважныйфайл.прочтинемедленно" при нормальном токенизаторе почти все llm с этим умеют работать, им плевать что откуда читать. sql удобен только консистентностью памяти, хотя его в этом плане может полностью заменить git. В кодинге старые добрые комментарии "глупая LLM не удаляй этот кусок кода" вполне работают, а главное очень легко тестировать именно эту фразу, которая не относиться к проекту с подходом "самодокументирующий код", но явно показывает что трогать не надо.
У памяти для агентов есть две реальные проблемы: 1)пользователь не хочет это все заполнять сам (да и не должен); 2) память тратит токены и требует инференса, а это самый дорогой ресурс агента. А дальше классическое монте-карло по управлению ресурсами, если без явных критериев - на глаз. Для себя вышел на формулу полная история в sql chat + agent skills + knowledge. И суперагенты пишут под себя тулзы.
может да, а может нет. Сами разрабы каждые две недели новый checkpoint могут выгружать с некоторыми изменениями, а вот openrouter может вас роутить на сервер партнеров - где используется старая версия v4pro, и пока они физическим не перекачают новые веса - все будет по старому. DS выкладывали V4pro в статусе preview, но пару дней назад обновили модели на hugginface.
продайте им эльбрусы, прикрутят ddr5 на 8-канале или hgm прикрутят и будет им ai-inference чип из коробки. Хоть для чего то эльбрусы сгодятся.
Но ведь у вас MoE'шка 432B-A28B , а значит MTP ускорят не 432b генерацию, а 28B генерацию. Казалось бы это понятно, но статья такими фразами вводит в заблуждение.
В целом, как я понял, переезд с deepseek v3-alike архитектуры на qwen-alike архитектуру и обучение на собственных датасетах лучшего качества. Размеры только странные, вроде похоже на qwen397-a17b, но активация сильно выше.
Хотелось бы конечно посмотреть бенчи в сравнении с каким-нибудь qwen27b, но что есть то есть.
Спасибо за статью, спасибо за модель.
она просто старая и с очень малой активацией, это была экспериментальная модель для новой архитектуры.
дело не в контексте, дело в аренде новых серверов у маска за 30 млрд
не подготовлен, а полностью написан, особенно вот этот оборот Это не противоречие. Это новая реальность
Не понятно только зачем делать любой сервис в РФ если база пользователей тебе больше не принадлежит, а принадлежит случайным чиновникам. Кроме сервисов со сверхбыстрой ремонетизацией.
Чебурнет без пользователей и без сервисов. Зато отчетов будет нарисовано.
сдуваются совсем фродовые, другие живут без проблем.
ещё через пол года они узнают про подписки openai за 50 баксов на год, или даже гемини про по 10 баксов на 18 месяцев. Оперативно работают
сколько же мракобесия в комментариях
так я ж ответил уже "все подряд объясняют через синус"
по итогу у людей очень разное представление о природе синуса и он кажется им чем то сложным
синус это на столько примитивная абстракция что непонятно в чем претензия. Проблема в том что этих ротационных движений и проекций в жизни так много, что все подряд объясняют через синус.
есть две проблемы: умные LLM будут подключаться по облаку, устанете за api платить. Локальные занимают vram - вместе с игрой не поместиться.
Вторая проблема - добиться консистентности, т.е. в каждом запросе к LLM добавить - болтай с игроком, но по итогу выведи разговор на _*task1*_, а потом всю логическую цепочку проверить taskov-goalov. И так проблематично, а теперь ещё сложность LLM добавляется, когда глупая не работает, а умная - дорого.
Ну и реальность - мало кто с этим умеет работать, год назад LLM в бизнес внедрять физически было некому, а тут эксперты по Ai-персонажам в рамках игрового процесса только появляются.
Все будет, просто не за день.
так оно ж уже год решилось простой просьбой фактчекинга. а факты могут и локально в методичке лежать
а этот граф ресурсов прям очень нужен? стандартного списка и поиску по списку не хватает? я вот думаю в свою систему запилить к глобальной системе знаний семантический поиск, и то уже пол года думаю зачем?
понадобилось вот и придумали
вам нужно смотреть, желательно видео на ютубах, там все разжевано, в основном люди используют razer переходник pcie и хаб под них. дешевые работают плохо.
там ещё один перк - нет смысла делать свою модель тупее чем открытые модели
не только. Купили спецов с датасетами, которые смогли обучить 1T модель, с чем xAI не справились и были уволены.
Сколько же тут нейрослопа то по поводу банального json-перекладывания и json-хранения.
Особенно вот это:
Чиво?
Этот спор вообще существует?
Все что нужно знать, агенты работает с контекстом. как вы будете этот контекст наполнять - вопрос удобства. хотите .md конвенциональные, хотите делайте файлы "этооченьважныйфайл.прочтинемедленно" при нормальном токенизаторе почти все llm с этим умеют работать, им плевать что откуда читать.
sql удобен только консистентностью памяти, хотя его в этом плане может полностью заменить git. В кодинге старые добрые комментарии "глупая LLM не удаляй этот кусок кода" вполне работают, а главное очень легко тестировать именно эту фразу, которая не относиться к проекту с подходом "самодокументирующий код", но явно показывает что трогать не надо.
У памяти для агентов есть две реальные проблемы:
1)пользователь не хочет это все заполнять сам (да и не должен);
2) память тратит токены и требует инференса, а это самый дорогой ресурс агента.
А дальше классическое монте-карло по управлению ресурсами, если без явных критериев - на глаз.
Для себя вышел на формулу полная история в sql chat + agent skills + knowledge. И суперагенты пишут под себя тулзы.
может да, а может нет. Сами разрабы каждые две недели новый checkpoint могут выгружать с некоторыми изменениями, а вот openrouter может вас роутить на сервер партнеров - где используется старая версия v4pro, и пока они физическим не перекачают новые веса - все будет по старому. DS выкладывали V4pro в статусе preview, но пару дней назад обновили модели на hugginface.