Pull to refresh

Comments 67

Ну верить какому-то ноунейму это конечно более надежно.

Чем Грефу?) Не смешите

Давайте еще скажем что Opus это китайская модель потому что там иногда в выдаче иероглифы

Так они будучи конкурентами поливают друг друга, а ИИ все слушает и запоминает. Unexpected data poisoning.

И Гигачат и Qwen публикуют веса моделей, сравнить же можно гиперпараметры, хотя бы. Объективно, без мычания.

Яндекс публикует?

Вот вообще - залез и узнал прекрасное "В ходе предобучения YandexGPT 5 Pro были использованы веса модели Qwen-2.5-32B-base." (источник) 

Или вот еще, с самого же Хабра, из блога Яндекса: "Так мы и сделали: инициализировали наш пайплайн обучения не случайными весами, а весами модели Qwen-2.5-32B-base (именно base, потому что instruct-версия показала результаты хуже).  "

Так что что я вообще не понимаю, что там в Яндексе говорят.

YandexGPT 5 pro создавали для локального запуска?

Возможно, YandexGPT 5 pro под слабое железо. Возможности по железу ограничены

GigaChat на основе архитектуры DeepSeek сделан, поэтому это точно не правда.

Сбер в соседней статье пишет что нет. Все сами учили с нуля.

Ну это правда, претрейн они сами делают, как и остальные стадии. Я про архитектуру только говорю - за основу взяли DeepSeekV3 и модифицировали, т.е. по сравнению с тем же Яндексом довольно крупный объем работы.

Не, ну это как говорить что АМД у Интела украл. Архитектура и прочие научные статьи это общественное достояние науки.

Так а где речь про кражу? То что их архитектура основана на DeepSeekV3 это не обвинение и не что-то плохое. Это вообще был ответ на пост, в котором утверждалось что Gigachat это Квен.

Разве они не тащат до сих пор gpt2?

Человек даже не понимает, о чем пишет. Наверняка речь о GigaCode, который является просто агентной оболочкой для разных опенсорсных моделей.

Но это не значит, что вся нейросеть „Яндекса“ построена только на ней. В компании подчёркивают: они параллельно развивают собственные модели (например, линейку YandexGPT, где уже вышли версии вроде YandexGPT 5 Pro). То есть речь идёт об использовании внешней модели как инструмента в экосистеме, а не о том, что „Яндекс“ отказался от собственной разработки и взял китайскую модель за абсолютную основу

Так опровергали, так опровергали, что признались. Многие на UE пишут игры и дорабатывают его, но это же не значит, что у них движок собственной разработки.

Такое количество компаниям надо, чтобы весь мир обеспечить. Обеспечьте хотя бы IT-сектор в России. Но походу даже на это не способны.

у Google — свыше двух млн процессоров, у Microsoft — миллион

Сравнивать охват и потенциальный рынок Сбера с Гуглом и Мелкомягкими - это «сильно»

Я это понял так, что это про количество GPU, пригодных для обучения нейронок.

Началось чтение "между строк" ?

Я бы не говорил, что это сильно разные процессы. Веса, это самое ценное в модели, а не остальное.

Они взяли веса, по сути модель и приделали свои:

  • обучение подходящего для русского языка токенизатора;

  • обучение эмбеддингов;

  • Pretrain на большом объёме текстовых данных;

  • двухэтапный Midtrain, в ходе которого модель обучается на высококачественных данных для разных срезов, а также выучивает длинный контекст;

  • Alignment (но об этом этапе поговорим уже в следующей главе).

То есть, чтобы модель заработала с новым токенизатором и эмбеддингами - из надо обучить и дообучать модель, чтобы она подстриглась под них.

Я надеюсь, что читающие понимают, что именно веса этот самое главное в модели. Эмббединги обучаться под новый токенизатор.

Если кратко, Яндекс собрал токенизатор под русскую речь, взял китайскую модель (скопировал веса), обучил эмбеддинги чтобы они согласовывали новый токенизатор и веса и затем дообучали модель.

Это можно назвать как угодно, но в основе китайская модель. И завуалировать это инициализацией весов, звучит как подмена понятий. Да, напрямую не используют готовую, но это все равно китайская модель с заменой токенизатора и дообучением на своих данных.

этот большой список работ который вы написали никак не похож на

„Яндекс“ сегодня дообучает Qwen

правда ведь?

В целом это процентов 5 работы или меньше

Да, это не дообучала в прямом смысле. Но это именно дообучала, если смотреть на картину в целом. В LLM самое трудозатратное это обучить веса сетки. Собрать токенизатор на корпусе русского текста - это делал и Сбер, это может сделать любой, для этого не нужны GPU. Это не трудозатратно.

И тут есть три сценария:

1) взять модель и дообучать

2) взять готовую модель, заменить токенизатор и обучить сначала эмбеддинги заморозив веса, чтобы они были согласованы с моделью и затем уже дообучать модель

3) заменить токенизатор, создать модель другой размерности (хорошо если хотя бы реально другой размерности), перенести веса и обучить сначала эмбеддинги (тоже самое дообучение но веса заморожены) и затем простое дообучение.

Так как веса модели - это практически и есть LLM, то да - это дообучать, заменив некоторые детали. И не факт, что после этого она будет работать лучше (веса под изначальный токенизатор).

От того, что мы копируем веса в другую модель и называем это инициализация - не означает, что мы создали другую модель. Еще раз, замена токенизатора и обучение эмбеддингов, чтобы согласовать их со скопированными весами не делает модель другой.

Это как взять модель OpenAI, заменить токенизатор, скопировать веса и сказать - мы не брали их модель, у нас своя и это не дообучение. Это на кого вообще рассчитано?

"построить свой цод" в 2 раза дешевле, чем "аренда на год"? по-моему голубойзеленый плохо речь свою выучил

там вроде говорилось про 3 года, что тем не менее тоже звучит так себе

Там написано про аренду на ТРИ года.

Не, ну это правда, что алиса своя

Бел бы это qwen, была бы алиса сильно умнее

А так это поделие на коленке от олимпмадников из яндекса

Кстати, посмотрел сегодня на таю от тбанка - такая же тупая и уверено косячит

Был бы это qwen, была бы алиса сильно умнее

Не факт. У Яндекса вычислительные мощности слабые. Так что проблема и с обучением, и с инференсом. Может приходится “отуплять” модель ради повышения скорости.

Да вообще нет. Мощностей бы хватило. Они её наоборот недавно сделали умнее, реально. В смысле не такой тупой

Проблема там и в старом стеке на втором питоне и в подходе к работе с игформацией, где ручками мониторят тренды, ну и, конечно же в офигевшем самомнении тех, кто работает в яндексе. Не могу сказать, что там все одинаковые, но пафос сочится, при весьма посредственных результатах

У т-банка под капотом тот же квен, если память не изменяет

Просто попросил бабла, слив коллег?

Битва ужа и ежа...

;0)

У меня к Яндексу слегка негативное отношение, но Греф, как мне кажется, там совсем берега потерял.

Просто решил подсесть на бюджетные помощи: а что, зачем частную модель, созданную на доходы банка (!? - те банк просит за свои кредиты как-то дофига много процентов, нет?) развивать на деньги банка, когда можно присосаться к госденьгам, особенно когда стране не так и просто?

Так и китайцы с американцами присасываются. Так что ваши вопросы вполне себе в буквальном смысле резонны.

Так Сбер гос.контора

нет таких мощностей ни у яндекса, ни у сбера, чтобы запустить свою нейросеть

У Гигачата отставание сильно больше, чем год от американцев и полгода от китайцев. Их последняя открытая модель все еще без ризонинга, что как-то странно выглядит в середине 2026 года. Уже одно это означает что они отстают от китайцев минимум на 1.5 года и от американцев на почти 2 года (o1 вышла в превью в сентябре 2024, DS R1 в январе 2025), а это огромный срок для этой сферы. Мб есть закрытые модели, которые сильно лучше, но сужу по тому что видел и щупал.

Посмотрим что вышло у американцев 1+ год назад: Grok 4, Claude Opus/Sonnet 4 (1 год и 2 месяца), Gemini 2.5 Pro (1 год и 4 месяца, в превью еще с декабря 2024 была). Последний Gigachat 3.5 Ultra отстает от них всех.

У китайцев полгода назад вышла Kimi K2.5, которая ощутимо сильнее Гигачата. Можно даже на почти ровно год назад уйти к Kimi K2, которая тоже лучше Гигачата.

Тут еще стоит упомянуть, что те же китайцы сами ускоряются в сокращении разрыва между ними и американским фронтиром, а еще не понятно сможет ли Сбер также ускориться, ну если не брать в расчет что в принципе можно взять условную свежую Kimi K3 и подтюнить, а потом заявить что Россия уже не отстает от Китая и только на месяц-два позади американцев.

А он не доложил уважаемому собранию, что они сделали за прошедшие 2 года для навёрстывания?

Впрочем, частный управленец компании-автора частной модели как бы и не должен никому отчитываться.

Денег просить тоже не должен, с другой стороны...

Ну вон модельку выпустили. Уровень примерно как в последних пред reasoning моделей. Года два отставания наверно.

Вроде неплохо. Даже в такое умеет буквально десятки (может первые сотни) фирм в мире.

Вектор развития тоже понятен. Reasoning к НГ примерно вполне прикрутить можно. Получится уровень как у первых рассуждающих моделей.

А он не то чтобы много может сделать. ИИ дорого даже для западных корпораций, а нам сюда тащить ускорители контрабандной считай наценка x1,5 а то и больше, у Сбера и Яндекса просто нет столько лишних бабок. Плюс непонятно, за чей счет банкет с такими ценами. Поэтому они и ждут, что на них господдержка свалится с "халявными" деньгами, а "за свои" продолжают мять дипскики и квены 2-годовалой давности.

Но пусть лучше жрут друг-друга, чем репортуют наверх, что впереди планеты всей, как у нас принято. У текущего вектора хотя бы есть шанс на развитие, в отличие от классических для РФ запретить и не пущать.

Их последняя открытая модель все еще без ризонинга

Да нет, с ризонингом - https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B

Ризонинг у них добавился год назад, ещё в GigaChat 2.0.

сужу по тому что видел и щупал.

Весов о1 у вас нет, что не мешает его видеть и щупать.

Но с вашими оценками по отставанию я всё равно согласен. С другой стороны, обвинять их в отставании было бы странно. С какой стати они не должны отставать?

Да нет, с ризонингом - https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B
Ризонинг у них добавился год назад, ещё в GigaChat 2.0.

Не понял. Авторы сами пишут на хаггинг фейсе "flagship instant model of the GigaChat family" (instant = нет ризонинга) и сравнивают с DeepSeek v3.2 Exp (тоже instant).

Что интересно - V4 Flash тоже есть, но только в сравнении Base моделей, т.е. по-сути просто сравнение претрейнов. У Instruct остаётся только v3.2 exp, которому Гигачат тоже проигрывает во многих бенчах :) а V4 Flash даже в Non-Thinking режиме сильно лучше и меньше по размеру. Это значит что у Сбера большие проблемы именно со стадиями после претрейна - т.е. SFT и, наиболее вероятно, RL. А как раз здесь идёт большая часть прибавок у новых моделей.

Если есть reasoning, то где бенчи для него и сравнение с другими такими моделями? У GigaChat 2.0 Max действительно увидел "effort" в API - где можно глянуть бенчи для него с разными уровнями? Нашел только в статье от Танька про T-Pro 2.0, где они с Гигачатом сравниваются. Это у ризонинг модели все так плохо? 45% GPQA Diamond.

Но с вашими оценками по отставанию я всё равно согласен. С другой стороны, обвинять их в отставании было бы странно. С какой стати они не должны отставать?

Греф заявляет что отстают на год от американцев и на полгода от китайцев, я написал что не согласен и реальное отставание минимум 2 и 1.5 года соответственно. Где я писал что они не должны отставать и обвинял их в этом?

Да, я ошибся, в open-source они выкладывали только нерассуждающие версии. А рассуждающие доступны только по API.

Если есть reasoning, то где бенчи для него и сравнение с другими такими моделями? У GigaChat 2.0 Max действительно увидел "effort" в API, а где бенчи для него? Видел их в статье от Танька про T-Pro 2.0, это у ризонинг модели все так плохо? 45% GPQA Diamond.

Видимо, пока да. Вот ещё независимая оценка - https://ru.mysummit.school/blog/gigachat-ultra-thinking-mode-test-2026/

реальное отставание минимум 2 и 1.5 года соответственно.

Ну где-то так и получается, это уровень Claude 3.5 Sonnet примерно.

Видимо, пока да. Вот ещё независимая оценка - https://ru.mysummit.school/blog/gigachat-ultra-thinking-mode-test-2026/

За ссылку спасибо. Но если так все плохо, то значит reasoning они все-таки еще толком не освоили - он может формально есть, но работает хуже чем у того же R1 (не 05-28, а январского).

Ну где-то так и получается, это уровень Claude 3.5 Sonnet примерно.

Ну хз, вроде по бенчам все-таки не дотягивает. Скорее ближе к Claude 3 Sonnet - где-то хуже, где-то лучше. Как-то напрягает, что они прям старательно избегают мерить многие популярные бенчи для Instruct модели и только базовые на них сравнивают. Видимо там все довольно плохо - судя по всему сказывается то, что в России почти нет сильных специалистов по RL, который сейчас чуть ли не ключевой компонент пост трейна. Недавно как раз видел вакансии от Сбера на RL с обещаниями зарплаты в 1 млн+ :)

"Отставание на год от США" - это шутка такая?

И тут умудрились шильдики переклеить!

Разработка в области ИИ требует наличия вычислительных ресурсов, и не только для создания топовых моделей, но и для исследователей, для студентов. Это наличие реальных вычислительных ресурсов. Они есть? Нет. Значит и разработать с нуля не могли ни Сбер, ни Яндекс, ни гипотетическая третья или шестая фирма (чего так хочется Грефу).

Если железа нет, то на чем Сбер модель обучил? Значит железо есть. Как минимум достаточное для обучения модели на 400 миллиардов параметров. Современные самые большие большие модели это примерно пара триллионов параметров, разница есть но не принципиальная. Привезти еще 4 раза по столько же железа не выглядит нерешаемой задаче.

Думаю что у других крупных ребят вроде Яндекса железа не меньше чем у Сбера.

есть мнение, что железо есть в сингапуре, и немножко железа есть в средней азии.
Привезти ещё 4 раза по столько же задача сложная, стоит 100 млрд так ещё и размещать негде, о чем Греф и говорит. Если бы у яндекса железа было бы не меньше, то их модели давно вышли на уровень хотя бы qwen120b, но чет их нет. Максимум - фотогенерация, а для этой задачи как раз много железа не нужно.
Все таки одно дело - разово на хайпе слить бюджет и попробовать натренировать модель, другое дело каждый год выделять трлн бюджета чтобы бежать третьим эшелоном на бесперспективном рынке.

Маск вот купил железа, но не смог модель обучить, так он сдал свои датацентры атропикам, получил 30млрд с этого, купил курсоров, обучих их модель у себя, а сейчас с их помощью дообучает модель чтобы соревноваться с опусом.
А у нас даже один такой ДЦ построить не смогут, да и сдавать некому.

100 миллиардов долларов железо естественно не стоит. А 100 миллиардов рублей у бигтеха есть. Есть не где-то там, а просто в тумбочке.

Не нужна там треть бюджета. Там много, но реально. Вон Диспик хвастается что учат всего на 10 тысячах видеокарт. Это тоже не сдача от покупки кофе, но вполне разумные деньги для бигтеха.

Зачем? Чтобы остаться среди тех кто умеет и делает сам. Китайский опенсорс вполне себе догнал американские фронтирные модели. С учетом замедления прогресса тут через пару лет тоже можно догнать. Срок не выглядит безумным или невозможным. Ну будет разница в пару попугаев в каких-то тестах, она уже ни на что не влияет.

Не нужна там треть бюджета. Там много, но реально. Вон Диспик хвастается что учат всего на 10 тысячах видеокарт. Это тоже не сдача от покупки кофе, но вполне разумные деньги для бигтеха.

Ну это, кстати, к вопросу о специалистах - вот Греф прям отрицает что есть кадровая проблема, но она очевидно есть. Судя по последней модели Сбера там все плюс-минус нормально с претрейном, но прям печально с пост-трейном - т.е. SFT + RL, причем настолько что многие популярные бенчи не приведены, с V4 Flash (которая была в сравнении базовых моделей) нету сравнения в non-thinking режиме, только с не особо удачной v3.2 exp, которой Гигачат еще и уступает на многих бенчах. Имхо, как раз сказывается недостаток скилловых RL спецов на российском рынке.

Ну и компьюта у китайцев все же больше.

Значит надо учить специалистов и набирать компетенции. Это точно полезно.

Ну и железо докупать надо. Для инференса в любом случае пригодится.

Железо-то есть. Яндекс ещё 4 года назад (к слову, ещё до выхода ChatGPT) выкладывал модель аж на 100 миллиардов параметров - https://huggingface.co/yandex/yalm-100b

Как раз, чтобы утереть нос Сберу, который на тот момент тоже уже выложил mGPT-13B (апрель 2022).

Другое дело, что даже при наличии вычислительных ресурсов их использование стоит денег. И если в случае с иностранными компаниями это деньги богатеньких буратино, которых убедили инвестировать "в эй ай", то тут в РФ таких инвесторов нету. А с учётом демпинга китайцев возврат таких инвестиций становится невозможным. Единственное направление - обслуживание чувствительных сфер. Ну и всякие сценарии с местным колоритом.

Даже самому Сберу сейчас чисто финансово было бы выгодней просто задеплоить какого-нибудь китайца помощнее. Но они продолжают что-то там сами разрабатывать, что уже само по себе работа "за идею".

Их железо давно посчитано и его все равно что нет. Они могли что то где то арендовать, но стратегически это бессмысленно, имхо.

Их железо давно посчитано и его все равно что нет.

Для триллионных моделей - да. А для 100-миллиардных, как видим, уже 4 года назад железо было. И для нейросетевого перевода видео в реальном времени с качеством лучше, чем у Гугла, есть железо прямо сейчас.

@denis-19 зачем ты в два-три раза дублируешь один и тот же текст? Зачем раздувать никчемную новость?

По словам Грефа, причина отставания не в квалификации инженеров, а в нехватке вычислительных ресурсов.

Классический Греф с его мантрой "программисты не нужны".

По итогу только у меня действительно суверенная архитектура, не наследник квенов/дипсиков/гпт. И круче их всех вместе взятых 😋

В компаниях подробного уровня прогресс никогда не будет стоять на месте, создано столько нового, что они не станут использовать существующие программы, ничего не разработав своего

Какая неожиданность - менеджер Сбера, конкурента кое в чём Яндекса, высказался что у Сбера всё своё, родное, с грядки, а вот конкурент не такой хороший. Учитывая что сказанно было это перед политиками, а не разрабами, или хотя бы на форуме перед менеджерами Яндекса, чтобы те смогли ответить сразу, могу прийти к выводу что вопрос в деньгах. Ведь на своё, родное, выдаются деньги, господдержка.

По факту же я скорее бы поверил что Яндекс с нуля что-то сделал, нежели Сбер. Ну да ладно, это если бы да ка бы.

Уверен что каждый дообучает свои LLM чем-то из чужих по мере возможности дабы не делать двойную работу. И это правильно.

С человеческой точки зрения всё же такое заявлять некрасиво.

Sign up to leave a comment.

Articles