Не знаю. Можно ли сравнить с переходом от полнотекстового поиска к появлению поисковиков вроде Google. Но то, что технология индексации дошла до реализации - уже хорошо.
Обозначу пометки по статье. Которые мне показались важными. На истину не претендую.
1) Так как обозначен vllm, предположу: сборка на видеокартах уровня одинарных или сдвоенных v100 с авито/wb/... Или что было модно и доступно годами ранее. Влияет на выбор модели. Возможно nvfp4 надо заменить на иное. Даже 5 бит иногда на малых моделях заметно лучше 4 бит. Хотя если есть набор rtx 5090 - то не актуально.
2) Раз сравнение cpu и gpu хотелось бы видеть упоминание гибридного запуска. Когда MOE модель тяжелая, но требования к видеопамяти 3-5 ГБ.
3) По записи
>>role: "You are a professional information provider specialized in technical troubleshooting and clear explanations."
Такого быть не должно. Срочно изучить промт инжиниринг. Желательно по полноценным книгам или курсам с живыми преподавателями и сокурсниками. А не газетным и новостным вырезкам с wow эффектами. Считаю самым важным пунктом.
4) модель gemma 4 - сложная. После замены на аналог вроде qwen возможно не потребуется так сильно ужимать вывод по temperature и top_k
Тут упоминается sglang. Я постоянно использовал llama.cpp. И столкнулся с низкой скоростью инференса на CPU. Раньше (1-2 года назад) скорость llama.cpp была 2/3 от пропускной способности RAM в пересчете на веса модели. Например скорость 460 ГБ/сек, веса модели 7B, BF16, 14ГБ, dense. Получалась скорость около 20 токенов в секунду. И при квантах скорость росла.
А сейчас, например с qwen 3.5, максимум 1/3. И кванты даже не повышают скорость по сравнению с BF16, а понижают.
Вот если взять модель GigaChat-3.1-Lightning. где её лучше запускать для CPU? Llama.cpp или sglang? 32к контекста более чем устраивает. Главное, чтобы этот диапазон рабочий был. А не как на старых Sonnet, где после 17к - тыква.
Или как скомпилировать софт лучше для 3.1-lightning или преобразовать веса.
Qwen 3.5 хорошо оптимизирован под Aider. Все MoE модели. По качеству 6й квант 35B-A3B примерно соответствует 4му кванту 122B-A10B. По Dense моделям провал.
И указать крупный presence_penalty=1.5 при запуске модели. У Qwen 3.5 требуется.
Сам себя поймал на мысли, что классовая борьба чешется.
Но потом появилась мысль, что не знаю никаких новых ценных продуктов, появившихся за последние пару лет. Даже в области ИИ. Что я в начале 2024 использовал - тем и сейчас пользуюсь. Только модели поменялись. А нет развития - так за что платить?
Вот если бы они сделали аналог Nvidia H100 на каком-то модном Chisel Scala - вот это был бы поворот. Со всеми моделированием, верификацией. Или как там называются аналоги unit тестов у разработчиков аппаратуры. Надеюсь знатоки verilog подскажут. Вот это была-бы новость!
Сам у GLM 5 поспрашивал про SAP. Помню за него много денег платили. Но тема мимо меня прошла. А тут решил узнать. Что за SAP такое. И, в отличии некоторых других ИИ, glm нормально отвечает.
Так что пусть вдохновляются. DeepSeek писал, что Engram экономит, умещая первые 12 слоев в 5 слоях. Заодно в сбере сэкономят на обучении новых моделей.
Приватизация прибыли и национализация убытков
В общем старая шутка. Не знаю, сколько прибыли принесут эти две компании американским налогоплательщикам.
Ждал эту модель.
Не знаю. Можно ли сравнить с переходом от полнотекстового поиска к появлению поисковиков вроде Google. Но то, что технология индексации дошла до реализации - уже хорошо.
Обозначу пометки по статье. Которые мне показались важными. На истину не претендую.
1) Так как обозначен vllm, предположу: сборка на видеокартах уровня одинарных или сдвоенных v100 с авито/wb/... Или что было модно и доступно годами ранее. Влияет на выбор модели. Возможно nvfp4 надо заменить на иное. Даже 5 бит иногда на малых моделях заметно лучше 4 бит. Хотя если есть набор rtx 5090 - то не актуально.
2) Раз сравнение cpu и gpu хотелось бы видеть упоминание гибридного запуска. Когда MOE модель тяжелая, но требования к видеопамяти 3-5 ГБ.
3) По записи
>>
role: "You are a professional information provider specialized in technical troubleshooting and clear explanations."Такого быть не должно. Срочно изучить промт инжиниринг. Желательно по полноценным книгам или курсам с живыми преподавателями и сокурсниками. А не газетным и новостным вырезкам с wow эффектами. Считаю самым важным пунктом.
4) модель gemma 4 - сложная. После замены на аналог вроде qwen возможно не потребуется так сильно ужимать вывод по temperature и top_k
Открытый вопрос понятен.
Думаю скоро изобретут github для математиков.
Где вместо фиатной валюты поддержки проекта. Вместо звезд и форков будет что-то понятное математикам.
Внимательно относитесь к инференсу.
Kimi проводит проверку инференса своих моделей. И компания Nebius показала не лучшие результаты.
В чем причина: не хватило компетенций или развернули квант - не в курсе.
Но исходя из того, что предоставляют не самые последние модели - скорее первое.
А так, если не смотреть на последние достижения. А скорее на базовые модели - то вполне есть.
И есть исключения. Например: Qwen 397B у многих получается развернуть.
Думаю зависть. А вообще поздравляю.
Сорвала первую статью о лучшей нейронке за год.
На ресурсе, почти полностью посвященном ИИ.
Если зайти в приложение Альфа-Банк. И оно не просит обновиться - значит что-то пошло не так.
Я вчера подписку взял. Хотя с осени не оплачивал. Потребовался deep research. И первое что вспомнил.
ИИ в 1.1T параметров. Помогают запустить qwen 800M. Нейросети с буквой B в этой статье отсутствуют
Не удивлюсь, что это правда. Без всякого сарказма.
Вот сидят думающие через ИИ. А ИИ обучен на жёлтой прессе с шок контентом.
ИИ что делать? Юля уронила сосиску!
Взрывать интернет!
С видеокартой не сложилось. Но переход на ik_llama дал преимущество на препроцессинге на cpu. На генерации тоже больше стало.
llama-bench -m sage/GigaChat3.1-10B-A1.8B-bf16.gguf
| pp512 | 493.81 ± 44.65 |
| tg128 | 21.38 ± 0.09 |
ik_llama-bench -m sage/GigaChat3.1-10B-A1.8B-bf16.gguf
| pp512 | 994.44 ± 112.04 |
| tg128 | 27.61 ± 0.29 |
Ещё вариант: Уолл Стрит была не на статью Google
Тут упоминается sglang. Я постоянно использовал llama.cpp. И столкнулся с низкой скоростью инференса на CPU. Раньше (1-2 года назад) скорость llama.cpp была 2/3 от пропускной способности RAM в пересчете на веса модели. Например скорость 460 ГБ/сек, веса модели 7B, BF16, 14ГБ, dense. Получалась скорость около 20 токенов в секунду. И при квантах скорость росла.
А сейчас, например с qwen 3.5, максимум 1/3. И кванты даже не повышают скорость по сравнению с BF16, а понижают.
Вот если взять модель GigaChat-3.1-Lightning. где её лучше запускать для CPU? Llama.cpp или sglang? 32к контекста более чем устраивает. Главное, чтобы этот диапазон рабочий был. А не как на старых Sonnet, где после 17к - тыква.
Или как скомпилировать софт лучше для 3.1-lightning или преобразовать веса.
Qwen 3.5 хорошо оптимизирован под Aider. Все MoE модели. По качеству 6й квант 35B-A3B примерно соответствует 4му кванту 122B-A10B. По Dense моделям провал.
И указать крупный
presence_penalty=1.5при запуске модели. У Qwen 3.5 требуется.Сам себя поймал на мысли, что классовая борьба чешется.
Но потом появилась мысль, что не знаю никаких новых ценных продуктов, появившихся за последние пару лет. Даже в области ИИ. Что я в начале 2024 использовал - тем и сейчас пользуюсь. Только модели поменялись. А нет развития - так за что платить?
Молодцы, что через рынок акций пошли. А не продаться кому-то крупному.
Звучит как очень простая задача. Может веса переквантованные были.
Вот если бы они сделали аналог Nvidia H100 на каком-то модном Chisel Scala - вот это был бы поворот. Со всеми моделированием, верификацией. Или как там называются аналоги unit тестов у разработчиков аппаратуры. Надеюсь знатоки verilog подскажут. Вот это была-бы новость!
Сам у GLM 5 поспрашивал про SAP. Помню за него много денег платили. Но тема мимо меня прошла. А тут решил узнать. Что за SAP такое. И, в отличии некоторых других ИИ, glm нормально отвечает.
В Сбере сами говорили, что взяли инфраструктуру для DeepSeek. Только обучили на своих данных. Про Giga 3 Ultra. Только изначально 16 бит выложили: https://huggingface.co/ai-sage/GigaChat3-702B-A36B-preview-bf16 .
Так что пусть вдохновляются. DeepSeek писал, что Engram экономит, умещая первые 12 слоев в 5 слоях. Заодно в сбере сэкономят на обучении новых моделей.
Так что как покурят, пусть за работу принимаются.