Comments 24
Всё, что написано дальше, рассказ Сергея Шишкина от первого лица.
Пришлось гуглить как это называется на самом деле :) "проверка показаний на месте" это называется.
Вот я трогаю стойку, вот достаю модуль. Вот откручиваю болт, вот снимаю с модуля корпус.
Файнтюн Llama-3-70B в 2026 году?
Статья год ждала своего часа?
Нет, статья свежая, указанная модель полностью соответствовала нашим задачам тестирования. Всегда есть модели больше, но в большинстве случаев достаточно более скромных вариантов.
Это древние модели, сейчас есть гораздо меньше размером и при этом лучше. Обычно наличие древних моделей в тексте показывает, что текст полностью сгенерирован и опубликован даже без прочтения после генерации. Ибо ии имеет cutoff по знаниям где-то год и всегда сует устаревшую херню в текст.
Предложите свои модели для этой задачи. Те самые, которые меньше и лучше. И сразу опишите, по каким параметрам эти модели лучше
Присоединяюсь к kernel128, подскажите модели, и нет, текст не сгенерирован ИИ, а написан вручную по итогам проведенной работы, а результаты работы были продемонстрированы на партнерском мероприятии меньше месяца назад.
Что подсказывать? Вы как-будто из анабиоза полуторагодовалого вышли. Сравните сами, DeepSeek-R1-Distill-Llama-70B который вы использовали и более чем в два раза меньшая модель Qwen3.6-27B которая вышла пару месяцев назад.
Там по ссылкам у обеих есть бенчмарки, многие отличаются, ибо те бенчмарки которые использовались для вашей древноты, уже не используются и их заменили другие, но есть и совпадающие, везде мелкая модель выигрывает.
Кроме того, для нее есть MTP, который ускорит генерацию еще раза в два. Кроме того, она понимает картинки, может легко находить объекты, распознавать с них текст, даже рукопистный.
Qwen3.6 модели также довольно хороши в кодинге и вызове тулзов. Но помимо них есть еще упомянутые выше Gemma4 модели, например gemma-4-31B-it, тоже более чем в два раза меньше, тоже есть распознавание картинок и текстов, но мне они кажется в целом умнее, чем Qwen3.6, хотя кодить у них получается похуже. Для текстов, обсуждения чего-нибудь они мне нравятся сильнее. Для них тоже есть аналог MTP ускоряющий в два раза. А еще у них есть QAT версии, это когда 4-х битные версии дотренировали так, что они не уступают неквантованным версиям. Еще, есть любопытный бенчмарк food truck bench, где модели управляют виртуальным бизнесом по продаже еды из микроавтобуса: https://foodtruckbench.com/#leaderboard на нем Gemma4-31b заняла очень высокий результат. DeepSeek-R1 там нет, но есть его улучшенная версия DeepSeek-3.2, который, увы, слил все деньги. Что уж говорить о вашем дистиляте, он наверняка оказался-бы в глубочайшем минусе.
Контекстное окно, что у Qwen3.6, что у Gemma-4 - 256k токенов -в два раза выше. И при этом, сам kv cache у обеих сильно компактнее, чем у DeepSeek-R1-Distill-Llama-70B.
Это только то, что на поверхности. На самом деле современных классных моделей больше. И как вас угораздило вляпаться в древние модели, нет никакого вменяемого объяснения.
Развернуть Qwen3-72B (или даже 110B)
Qwen3-72B и 110B не существует - опять признак генерации.
Может вы, конечно, и не генерировали вообще ничего, просто спросили у условного дипсика, какие локальные модели использовать, а он вам и подложил свинью. В таком случае, мой вам совет: никогда не спрашивайте у моделей ничего по поводу локальных LLM. Все LLM имеют устаревшие на год-полтора знания, а локальные модели очень бурно развиваются и то, что было год назад уже не актуально.
Ошибку в названии статьи стоит исправить.
Отвечаем: мы продемонстрировали суверенное программно-аппартаное решение, основанное на суверенной аппаратной платформе, построенной на отечественных процессорах, что гарантирует отсутствие закладок, «килл- переключателя» и т.д., а используемое ПО - модель DeepSeek-R1 относится к категории открытого ПО, веса можно проверить и даже дообучить на своих данных. Нет привязки к вендорам из недружественных стран.
Данное решение обеспечивает информационную безопасность компании, которая использует ИИ в своей деятельности - всё работает в изолированном контуре. Данные не уходят за пределы организации.
Слишком много раз повторяется слово "суверенное". Но как говорится: "Сколько раз не повторяй слово сахар, во рту слаще не станет".
Автору респект за труд. И сочувствую ему видно в день "Великих" критиков, выложили статью. Не почитать, а ошибки проверить.
Да… Принтер на линуксе в 90х было проще настроить )
Не знаю, что хочу больше к себе домой. Руку Сергея Шишкина или Модульный сервер «М1». Вступление директора по развитию очень понравилось
У вас в заголовке ложь - вы Deepseek R1 не запускали и даже не пробовали. Я попался на ваш кликбейт, было очень интересно, как это вы Deepseek умудрились всего в две A100 запихать, а оказывается никак. Вы запустили Llama 70b, дообученную не относящимися к Deepseek людьми на его ответах. Для Deepseek R1 ваша конфигурация недостаточна.
Второй момент: вы опустили всю обвязку. Каким образом вам удалось получить от модели ответ, что она на двух видеокартах выполняется в стандартном чате llama.cpp, что вы демонстрируете? Если вы подключили какой-то агентский инструментарий - поделитесь же. Гораздо интереснее и ценнее опыт воспитания неагентской llama из прошлого года под современные задачи.
Если нетрудно - приведите итоговый конфиг или строку запуска модели. Одним этим вы повысите ценность статьи с нулевой до минимально полезной. Сейчас же вы вообще не привели никаких железоспецифичных трудностей, из вашей статьи следует, что запуск llama.cpp на отечественном оборудовании не отличается от стандартной процедуры, зато наделали кучу фоток вашего железа, не относящихся к статье.
Отдельно пункт 11 - очень обидно. Есть RuAdapt квена, есть та же llama3, дообученная Тинькофф, есть вихри которые ЛУЧШЕ оригиналов на русском языке, есть ДЕСЯТКИ кастомок на HF, но вы пишете, что отечественных аналогов просто нет. Вы бы сами погугли, посмотрели бенчмарки, чем слепо верить ии, что вам статью нагенерил.
Вы пишете в заключении, что “рассмотрели все грабли”, но ни одной грабли в статье не упомянуто, только кратко упомянули про сборку из репозитория nvidia, но не привели конкретики, как это сделать.
https://huggingface.co/deepseek-ai/collections
Конечно же, deepseek-ai/DeepSeek-R1-Distill-Llama-70B легко найти среди моделей deepseek на странице с моделями deepseek. Так что, первый же Ваш довод разбивается без напряжения. Дальше много текста, времени разбирать нет.
Gigachat — открытая модель. Вы бы хоть погугли, прежде чем писать такое :)
Ещё подскажите пожалуйста, как вы считали 100% отечественности сервера. Давно ли в России начали производить серверные центральные и графические процессоры подобного класса?
В ту же калитку:
мы продемонстрировали суверенное программно-аппаратное решение, основанное на суверенной аппаратной платформе, построенной на отечественных процессорах, что гарантирует отсутствие закладок
Подскажите каким определением "суверенности" вы пользовались, когда называли Nvidia A100 и llama.cpp "суверенными"
NVIDIA Tesla A100 - золотой стандарт для LLM
Золотой стандарт дай бог 2023 года. Вы попробуйте на ней запустить действительно современные модели: GLM-5.2, Kimi-K2.6 или Deepseek-V4. Либо хотя бы Deepseek-R1, но не дистированную версию :)
>deepseek r1
хуже ничего найти не смогли?
Как мы за неделю подружили DeepSeek-R1 с отечественными процессорами ARM64, NVIDIA A100 в 100% отечественном сервере