да кто эти минусы считает, просто в подтверждение новые твиты от Тибо, в кратце: шторм тестирование серверов продолжается, для этого в очередной сбросили лимиты и убрали 5-часовые лимиты. Перед сбросом попробовал 5.6 sol ultra fast - 100% квоты сгорело за 3 минуты и 120к контекста чтением. Суммарно насчитал 5 полных сбросов квоты с анонса. Распробовал 5.6 sol medium - очень хорошо работает.
у релиза 5.6 Sol есть несколько проблем. Во первых, модель сильно дрифтует от первоначального промпта пользователя, такое же было и на 5.5. При чем может дрифтануть, а может все сделать слово в слово. Во вторых openAI по сути запустило стресс-тестирование для своих моделей на живых пользователях, лимиты рестартили уже раза 4, или может 5. Стресс нагрузка приводит к известной деградации - кучу ошибок на уровне системных сообщений, которые мешают модели работать, а пользователь их даже не видит. Высокая нагрузка на систему кэшей - ваш кэш сессии может быть вытеснен, модель начнет пересчитывать всю сессию, в лучшем случае у вас уйдет квота на пересчет сессии (и все токены испарятся), в худшем - модель сама придумает себе задание. В любом случае, моделька классная, умная, пользоваться ей можно только на опус лимиты кончились.
MTP особенно полезен на крупной модели. На 432 миллиардах параметров каждый шаг генерации дорогой, а без MTP он даёт только один токен.
Но ведь у вас MoE'шка 432B-A28B , а значит MTP ускорят не 432b генерацию, а 28B генерацию. Казалось бы это понятно, но статья такими фразами вводит в заблуждение.
В целом, как я понял, переезд с deepseek v3-alike архитектуры на qwen-alike архитектуру и обучение на собственных датасетах лучшего качества. Размеры только странные, вроде похоже на qwen397-a17b, но активация сильно выше. Хотелось бы конечно посмотреть бенчи в сравнении с каким-нибудь qwen27b, но что есть то есть. Спасибо за статью, спасибо за модель.
Не понятно только зачем делать любой сервис в РФ если база пользователей тебе больше не принадлежит, а принадлежит случайным чиновникам. Кроме сервисов со сверхбыстрой ремонетизацией. Чебурнет без пользователей и без сервисов. Зато отчетов будет нарисовано.
синус это на столько примитивная абстракция что непонятно в чем претензия. Проблема в том что этих ротационных движений и проекций в жизни так много, что все подряд объясняют через синус.
есть две проблемы: умные LLM будут подключаться по облаку, устанете за api платить. Локальные занимают vram - вместе с игрой не поместиться. Вторая проблема - добиться консистентности, т.е. в каждом запросе к LLM добавить - болтай с игроком, но по итогу выведи разговор на _*task1*_, а потом всю логическую цепочку проверить taskov-goalov. И так проблематично, а теперь ещё сложность LLM добавляется, когда глупая не работает, а умная - дорого.
Ну и реальность - мало кто с этим умеет работать, год назад LLM в бизнес внедрять физически было некому, а тут эксперты по Ai-персонажам в рамках игрового процесса только появляются. Все будет, просто не за день.
а этот граф ресурсов прям очень нужен? стандартного списка и поиску по списку не хватает? я вот думаю в свою систему запилить к глобальной системе знаний семантический поиск, и то уже пол года думаю зачем?
вам нужно смотреть, желательно видео на ютубах, там все разжевано, в основном люди используют razer переходник pcie и хаб под них. дешевые работают плохо.
да кто эти минусы считает, просто в подтверждение новые твиты от Тибо,
в кратце: шторм тестирование серверов продолжается, для этого в очередной сбросили лимиты и убрали 5-часовые лимиты.
Перед сбросом попробовал 5.6 sol ultra fast - 100% квоты сгорело за 3 минуты и 120к контекста чтением.
Суммарно насчитал 5 полных сбросов квоты с анонса.
Распробовал 5.6 sol medium - очень хорошо работает.
у релиза 5.6 Sol есть несколько проблем.
Во первых, модель сильно дрифтует от первоначального промпта пользователя, такое же было и на 5.5. При чем может дрифтануть, а может все сделать слово в слово.
Во вторых openAI по сути запустило стресс-тестирование для своих моделей на живых пользователях, лимиты рестартили уже раза 4, или может 5.
Стресс нагрузка приводит к известной деградации - кучу ошибок на уровне системных сообщений, которые мешают модели работать, а пользователь их даже не видит.
Высокая нагрузка на систему кэшей - ваш кэш сессии может быть вытеснен, модель начнет пересчитывать всю сессию, в лучшем случае у вас уйдет квота на пересчет сессии (и все токены испарятся), в худшем - модель сама придумает себе задание.
В любом случае, моделька классная, умная, пользоваться ей можно только на опус лимиты кончились.
продайте им эльбрусы, прикрутят ddr5 на 8-канале или hgm прикрутят и будет им ai-inference чип из коробки. Хоть для чего то эльбрусы сгодятся.
Но ведь у вас MoE'шка 432B-A28B , а значит MTP ускорят не 432b генерацию, а 28B генерацию. Казалось бы это понятно, но статья такими фразами вводит в заблуждение.
В целом, как я понял, переезд с deepseek v3-alike архитектуры на qwen-alike архитектуру и обучение на собственных датасетах лучшего качества. Размеры только странные, вроде похоже на qwen397-a17b, но активация сильно выше.
Хотелось бы конечно посмотреть бенчи в сравнении с каким-нибудь qwen27b, но что есть то есть.
Спасибо за статью, спасибо за модель.
она просто старая и с очень малой активацией, это была экспериментальная модель для новой архитектуры.
дело не в контексте, дело в аренде новых серверов у маска за 30 млрд
не подготовлен, а полностью написан, особенно вот этот оборот Это не противоречие. Это новая реальность
Не понятно только зачем делать любой сервис в РФ если база пользователей тебе больше не принадлежит, а принадлежит случайным чиновникам. Кроме сервисов со сверхбыстрой ремонетизацией.
Чебурнет без пользователей и без сервисов. Зато отчетов будет нарисовано.
сдуваются совсем фродовые, другие живут без проблем.
ещё через пол года они узнают про подписки openai за 50 баксов на год, или даже гемини про по 10 баксов на 18 месяцев. Оперативно работают
сколько же мракобесия в комментариях
так я ж ответил уже "все подряд объясняют через синус"
по итогу у людей очень разное представление о природе синуса и он кажется им чем то сложным
синус это на столько примитивная абстракция что непонятно в чем претензия. Проблема в том что этих ротационных движений и проекций в жизни так много, что все подряд объясняют через синус.
есть две проблемы: умные LLM будут подключаться по облаку, устанете за api платить. Локальные занимают vram - вместе с игрой не поместиться.
Вторая проблема - добиться консистентности, т.е. в каждом запросе к LLM добавить - болтай с игроком, но по итогу выведи разговор на _*task1*_, а потом всю логическую цепочку проверить taskov-goalov. И так проблематично, а теперь ещё сложность LLM добавляется, когда глупая не работает, а умная - дорого.
Ну и реальность - мало кто с этим умеет работать, год назад LLM в бизнес внедрять физически было некому, а тут эксперты по Ai-персонажам в рамках игрового процесса только появляются.
Все будет, просто не за день.
так оно ж уже год решилось простой просьбой фактчекинга. а факты могут и локально в методичке лежать
а этот граф ресурсов прям очень нужен? стандартного списка и поиску по списку не хватает? я вот думаю в свою систему запилить к глобальной системе знаний семантический поиск, и то уже пол года думаю зачем?
понадобилось вот и придумали
вам нужно смотреть, желательно видео на ютубах, там все разжевано, в основном люди используют razer переходник pcie и хаб под них. дешевые работают плохо.
там ещё один перк - нет смысла делать свою модель тупее чем открытые модели
не только. Купили спецов с датасетами, которые смогли обучить 1T модель, с чем xAI не справились и были уволены.