Обновить
-22

Пользователь

3
Подписчики
Отправить сообщение

Воспользовался устаревшими и бесплатными LLM. Предлагаю вот это

1 По существу выбора модели — выбор слабый, и это видно без чужих подсказок. DeepSeek-R1-Distill-Llama-70B был выпущен в январе 2025. На момент публикации статьи (июнь 2026) это модель полуторагодовалой давности, а в темпе развития LLM это огромный срок. Объективные метрики подтверждают слабость выбора для заявленных задач: модель показывает низкие показатели по coding и agentic-задачам, а также слабый instruction-following — именно то, что нужно для "генерации документации, помощи в отладке, ревью кода", заявленных автором как целевые сценарии. То есть даже без сравнения с чем-то более новым — сама модель плохо подходит под заявленные кейсы использования по своим объективным характеристикам, а не только по "возрасту".

Хуже того: скорость генерации этой модели на эталонных провайдерах составляет около 43 токена/с, что делает результат статьи (20-23 токена/с на двух A100 80GB) откровенно слабым показателем для такого объёма заявленного железа — это не озвучено и не объяснено автором как ограничение, а подано как достижение.

2 Структурная проблема статьи — несоответствие объёма "танцев с бубном" реальной сложности задачи.
Если разобрать техническую часть (разделы 4.1–4.4) непредвзято: реальных нетривиальных трудностей там названо ровно две — флаг сборки BUILD_SHARED_LIBS=OFF и NUMA-привязка GPU к разным узлам. Это специфичные, но довольно стандартные проблемы для любого мультипроцессорного non-NVLink сервера, не уникальные для ARM64. При этом громкость заголовка ("за неделю подружили", "нетривиальный квест", "многое сломалось, но мы победили") не соответствует объёму реально описанных трудностей — у читателя создаётся ожидание глубокого инженерного разбора, а получает он две команды cmake и один флаг numa.

3 Внутреннее противоречие в логике статьи.
Раздел 5.4 объясняет разделение модели на два GPU через "сознательное решение" ради параллелизма и NUMA-оптимизации — но в этом же разделе признаётся, что один A100 (80GB) мог бы вместить всю модель целиком (42GB). Это значит, что вся "сложность" с tensor-split и NUMA distribute была добровольно созданной задачей, а не необходимостью, диктуемой железом. Это не лишает текст ценности, но подает решение как вынужденное технологическое преодоление, тогда как по факту это было исследовательское решение "посмотреть, что будет, если делать сложнее, чем нужно".

4 Раздел 9 (про суверенитет) логически нестрогий, независимо от тона.
Тезис "отсутствие закладок и килл-переключателя" обосновывается отечественностью CPU, но ключевой компонент инференса — GPU NVIDIA A100, на котором выполняются все матричные вычисления (это прямо признаётся в разделе 8: "CPU почти не участвуют в генерации"). Получается логический разрыв: главный аргумент про суверенитет строится вокруг компонента, который сам автор в предыдущем разделе назвал второстепенным для самой задачи LLM-инференса. То есть структура аргументации сама себя подрывает на уровне последовательности изложения, без участия чьей-либо критики.

5 Что в статье объективно сильно:
Конкретные численные данные по VRAM, NUMA-топологии и скорости prefill/generation — это проверяемые, полезные цифры.
Честное признание, что GPU не отечественные — редкая для маркетингового текста саморефлексия.
Описание физической архитектуры сервера (раздел 7) — фактурно и конкретно, в отличие от более общих разделов.

Итог
Главная объективная слабость текста — не в возрасте модели как таком, а в том, что выбранная модель плохо подходит под заявленные задачи по своим собственным паспортным характеристикам (слабый coding/agentic), при этом сложность реализации представлена как искусственно завышенная относительно объёма реально описанных трудностей, а ключевой идеологический тезис статьи (суверенитет) содержит внутреннее логическое противоречие с другим разделом той же статьи.

Не знаю, что хочу больше к себе домой. Руку Сергея Шишкина или Модульный сервер «М1». Вступление директора по развитию очень понравилось

Школа куколдов. А за автоматизацию - респект

Выводы-то какие Ланит сделал? Например, о чем статья-то?

Впечатление, что статейку писАла Алиса. Слово =Портирование= повторилось 20 раз подряд. Статья ни о чем

Вот про Степана здорово скреативили. Вспоминается красный трактор и поросёнок

Продакт-оУнер - это сильно...

ИТ-директор, например, CTO в общем случае должен ночью спать спокойно. Исполнители L2 находятся в его подчинении. Вот некоторые из них по расписанию могут и не спать, а могут и спать

Полная группа событий для них магия

Вопрос: составители таблиц (матриц, карт) компетенций и проставители КПЭ (КПИ) к себе применяют эти, должно быть, прописанные методики?

Статья ни о чем. Обсуждать нечего. Хабр, очевидно, не литературная страничка. (А сейчас зачастую превращается в набор эссе типа =Был сварщиком, стал пайтонистом=)

В отзыве на фото не согласен с B1. Нафиг вообще не нужно

Даже понятно почему это вечнозеленое заминусовали

Да уж. Графоманство в чистом виде. Откуда столько кармы? Много слов. Гуманитарий в чистом виде. С повадками бизнес-тренера

Статья ниочем. Похоже на писУльки 6 ЦНИИ МО РФ

1 Перевод отвратительный. Американский дебильный новояз типа =Мужчины и женщины=

2 В плане моделирования боевых действий пустота

Уважаемая Юлия) Какова, е честно, цель статьи? Сверить часы с самоизучающими? Предложить коучинг?

2 В BigData от фонда Apache не хватает джавовских Camel, Flink, NiFi etc (например)

3 Зона комфорта - враг развития. Слоган копирайтера или выпускника МГИМО. Мотивация, стартап - примерно оттуда же

4 Hibernate это ORM для РСУБД. ORM не равно РСУБД. На mindmap тогда надо указать ветку ORM

Вставлю свои 5 копеек. 1 Техпис (он же пистех) на проекте это зло, особенно на госпредприятии, даже если формально оно АО. 2 Нормоконтроллеров нужно устранять как класс, для чего постоянно внушать эту мысль иголками в кукле гендира и/или 1го (функционального) зама 3 Если макулатуру пишет > 1 человека, то редактор=корректор=отв. исполнитель один. Он же в силу бедности организации и верстает. Поэтому в коллективе создателей макулатуры рекомендуется договориться: 1.25 абзац, Times New Roman 11/14, 1/1.5 инт, ненумерованные списки форматировать не бриллиантами и даже не дефисами, а длинными тире. Прим.1. Рамки ЕСПД печатать глупо. Т к ГОСТы в основном это рекомендации. 2. Упомянутые гендир и первый зам тратят не свои деньги на раздутую бухгалтерию и т.н. экономистов, а нанять профессионального корректора со стажем работы в нормальной ежедневной общероссийской газете жмут 100 тыс руб в месяц. Это признак тупости вот таких начальников (директоров, бизнесменов, господрядчиков, импортозаместителей; нужное подчеркнуть)

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность