Комментарии 39
Почему про новости моделей Сбера пишет копирайтер Хабра?
Ну и да, как бы GGUF/MLX для GigaChat Lightning заполучить? )
Ребята из Сбер, как видно по карточкам на Hugging Face, пока ещё не успели ничего написать. А чего время тянуть и ждать их, если я уже увидел модели?
Скриншот
gguf вот только только кто-то выложил https://huggingface.co/ubergarm/GigaChat3-10B-A1.8B-GGUF
Похоже, ггуф-ов нет, есть сейфтензорс.
Надеюсь, теперь выяснят, почему эта вся такая из себя русская модель боится говорить про адренохром. Ноги у такой цензуры растут из западных мемов.
На Реддите утверждают, что это DeepSeek V3 на который нахлобучили ещё 3 слоя сверху.
А пишут что с нуля обучены.
Не DeepSeek V3, а архитектура DeepSeek. Например, Kimi тоже взяла основой архитектуру deepseek, изменила её конфигурацию и обучили новую модель Kimi K2.
В случае с GigaChat Ultra конфигурация как раз ближе к Kimi K2, где также снизили количество голов внимания в 2 раза и увеличили размер словаря до 160k. Только в K2 снизили количество активных экспертов с 37B до 32B, а тут только до 36B, и общее количество параметров в K2 увеличили с 671B до 1T, а тут 702B:
Attention heads → DeepSeek: 128, GigaChat: 64
KV heads → DeepSeek: 128, GigaChat: 64
Value head dim → DeepSeek: 128, GigaChat: 192
Layers → DeepSeek: 61, GigaChat: 64
Position embeddings → GigaChat slightly smaller (131k vs 163k)https://huggingface.co/DevQuasar/ai-sage.GigaChat3-702B-A36B-preview-bf16-GGUF/discussions/1
А GigaChat3-10B-A1.8B это архитектура DeepSeek Lite где на 1 слой меньше: https://github.com/ggml-org/llama.cpp/pull/17420
Чувствуется, что автор в теме, но насколько же бессвязный документ! Пройдя уровнем выше мы узнаем, что это тот же автор, что писал про как чатгпт овладевает его разумом. Думаю, на дваче хорошо зашло такое.
Ну а для тех, кто хочет пройти по ссылке сэкономлю время (ну или подогрею интерес): ниже анализ текста по ссылке с помощью Perplexity.
Данный текст — это философско-критическое, политизированное и технологически насыщенное исследование роли ИИ в мире и в России, которое балансирует на грани триллера и футуристического пророчества. Автор стремится показать, что мы имеем не просто технологии, а новые силы с богоподобным статусом, в которых сосредоточена и надежда, и угроза, и что человеческий выбор и контроль за этими силами крайне важны.Российские проекты подвергаются жёсткой критике за технологическую отсталость и зависимость, что в перспективе угрожает суверенитету и стабильности. При этом отмечается, что ИИ в глобальном масштабе — это инструмент власти, манипуляций и социального контроля, что требует осознанного и критического подхода к его развитию и применению.Этот текст — мощный манифест, предупреждающий о рисках иллюзорных «мессий» ИИ и призывающий к созданию настоящих, прозрачных и человечных технологий.
У нас, все импортозамещение так работает
думаете, не могут ничего сами? есть подтверждения, или просто привычка - сами такие?
Тоесть импортозамещение прошло сложный путь развития от заклеивания этикеток на свичах хуавэй до вот этого вот.. даже не знаю как назвать. Есть чем гордиться..
в России физически не может создать такую модель - железа нет. У Сбера на один pre-training V3 ушли бы годы
А в какойто момент года 4 наверное назад (пока еще был майнинг эфира и дефицит видеокарт) была история что якобы сбер закупил огромное количество гпу (ну и наверное потом тоже закупал) - это всё не те объёмы, что необходимы для такой задачи?
Ясно. Не знал что разница в масштабах такая огромная.
Спасибо за развёрнутый ответ!
2.8 миллиона часов - это всего 12 дней круглосуточной работы кластера из 10 тыщ карточек (10000*24*12)
У сбера помимо названных вами довольно старых суперкомпьютеров есть гораздо больше видюх в различных более новых облаках и кластерах. Собрать их вместе для обучения это большой гемор конечно, но решаемый для таких масштабных задач. 10к я думаю наберётся вполне, а то и побольше
Допустим А100 на порядок медленнее H100 в реальных задачах (в зависимости от задачи, думаю это +- так). Получаем 4 месяца, вполне реалистичный срок для обучения новых версий. В отличие от вашего предположения про "годы"
Почему такие как вы продолжают гадать и писать, как всё плохо и как все врут и что ничего невозможно, не зная фактуры, ссылаясь на статьи, где "независимые эксперты" пишут, что посчитать видеокарты "очень сложно", когда вот в статье (https://habr.com/ru/companies/sberdevices/articles/968904/) чёрным по белому написано, что модель полностью обучена на своём датасете?
"Почему А100, а не H100"? Вот пожалуйста, берите в их же клауде H100, по 8 штук в одной ноде, если деньги на аренду найдёте: https://cloud.ru/docs/virtual-machines/ug/topics/concepts__gpu
А вот сколько их и как они их привезли через все санкции - на этот вопрос конечно же никто не ответит, поэтому будете продолжать гадать и писать как всё плохо, вместо того чтоб просто юзать и обучать свои темки
Сберу спорить с такими как вы смысла особого и не имеет, что слону дробина. Я так-то триггернулся только на ваш расчёт который "займёт годы", то есть вы в теме не разобрались, откровенно врёте, но пишете коммент за комментом, что врут те, кто реально что-то сделал
По видюхам слив засчитан
Перейдём к "вашим долларам". Во-первых, с чего вы взяли, что они "ваши"? Вы вообще хоть чутка понимаете, как устроен сбер, на чём он зарабатывает, какое отношение имеет к государству? Думаете из бюджета кэш отгружают чтоб сбер видюхи купил?)
Если уж на то пошло - то это мои деньги, а не ваши. Потому что я акционер, хоть и миноритарный, а вы, судя по комментам, скорее всего нет. Сбер за счёт улучшенных относительно конкурентов технологий получает прибыль на высококонкурентном российском банковском рынке, половину из неё отправляет на дивиденды, как государству, так и мне, а на оставшуюся половину растёт и развивается. Если вам не нравится, что российские компании развиваются - то это уже ваши проблемы
По ссылке уже однозначно враньё ближе к низу по видюхам и скорости обучения, такое же как ты тут распространяешь
Остальное - смесь субьективных комментов и бреда сумасшедшего
Ты же понимаешь, что претрейн делается на ВСЕХ текстах, которые удалось качнуть с инэта? А большинство из них, особенно на английском языке, содержат антироссийскую позицию, по всем вопросам
А сейчас уже прикол в том, что все модели мира учатся на нейрослопе, в том числе и на текстах, которые сгенерировал гигачат, ну и на нашем с тобой споре)
Не на всех, даже если отсчёт на архиве открыть, то там написано, что Common crawl, при чем только по последним годам, также книги/энциклопедии, 230 млрд токенов для кода и синтетику для математики.
Очевидно же, что в природе попросту не существует столько русскоязычных текстов, сколько надо для обучения хорошей большой модели (от 100 Тб символов). Поэтому основу наверняка составили англоязычные тексты, пропущенные через автоматический переводчик, а потом это уже тюнили на нормальном русском тексте.
нужно было дорисовать фотку по краям - зашел на их кондинский - и вот он пошел считать да так и не вернулся - веса похоже непосильные 🤷♂️
А на чём можно запустить и потестить эти модели? Что lmstudio, что ollama не хотят с ними работать.
И лмстудия и оллама сделаны на библиотеке Георгия Герганова llama.cpp, которая предназначена для инференса моделей в собственном формате gguf.
Для инференса safetensors есть библиотека от Hugging Face. Десктопного приложения (типа лмстудии) для запуска safetensors я не встречал- самому хотелось бы.
ПС
пардон, есть Stable Diffusion WebUI Forge
Есть такой вопрос разработчикам гигачата. Промолчу про название, это так скажем стиль.
Но как так выходит, что на самой казалось бы простой части - фронтенде с чатом - всё хуже чем у конкурентов? Загружается страница дольше всех (значительно, непонятно что там грузить)
При заходе на страницу высвечивается по весь экран реклама (самой же ллм), потом какие-то кнопки куда тыкать начинают отображаться и нужно прокликать на них, чтобы перестало это мигать
Затем поле ввода запроса абсолютно нечитаемо, выглядит как просто надпись. Нажимаешь туда курсором - каретка ввода абсолютно невидна
Пока не вводишь текст бесконечный какой-то хаос на экране происходит с разными фразами в поле ввода, которые вводятся сами собой
Когда начинаешь вводить - сразу обращаешь внимание на просто гигантские буквы. Ну зайдите к конкурентам, у вас что, рассчётная длина запроса 20 букв? Туда же реально не влезает больше
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
«Сбер» открыл веса GigaChat Ultra, Kandinsky 5.0 и других моделей