Российский ИИ в прокрустовом ложе между суверенитетом и реальностью

[Dhwtj]

Дообучение зачем?

Чтобы не критиковал политику товарища Си?

[dmzubr]

Скорее для адаптации под функциональный домен.

Хотя Ваше предположение тоже не лишено оснований :)

Есть ряд тем, надёжность цензурирования ответов относительно которых можно увеличить через дообучение. Помимо непосредственно инструкции на уровне промпта или пост-обработки ответа алгоритмически.

[Dmitriy_Mironiuk]

Как минимум в базовой версии модель не очень хорошо понимает русскую речь и говорит с азиатским акцентом. Также не умеет правильно ставить ударения, окончания, не понимает когда прервать речь, интонацию, домен и т.д. Плюс по техническим моментам - входные/выходные форматы.

[alex_1065]

еще-бы цену убавили для отечественных пользователей, а то дороже китайцев раза в 3-4 получается

[dmzubr]

Спасибо за ремарку!

Я производил замер на основании работы ИИ-агента, реализованного на платформе, разработку которой курирую. Эта оценка не претендует на истину - скорее просто картина, с которой пришлось столкнуться через собственный опыт. Замеры посредством каких-то публичных бенчмарков конечно могут дать иные цифры.

[dmzubr]

Спасибо за ремарку!

Я производил замер на основании работы ИИ-агента, реализованного на платформе, разработку которой курирую. Эта оценка не претендует на истину - скорее просто картина, с которой пришлось столкнуться через собственный опыт. Замеры посредством каких-то публичных бенчмарков конечно могут дать иные цифры.

[ToniDoni]

Какая у гигачата стоимость кэшированных токенов? У импортных провайдеров - это обычно 1/10x. Без этого сравнение не очень показательно.

[dmzubr]

На странице прайсинга для юр лиц в официальной документации GigaChat не нашёл разницы для кэшированных и некэшированных токенов:

https://developers.sber.ru/docs/ru/gigachat/tariffs/legal-tariffs

[ToniDoni]

Ну вот и всё) Для некоторых задач, например агентского кодинга, почти 90% улетает префикс кэш. С учётом того, какие агенты прожорливые на токены - выбора не остаётся.

[Dmitriy_Mironiuk]

Российский рынок LLM пока совсем маленький, а его рост остужает регуляторка. Как насчёт рынков СНГ, не планируете туда выходить? Азия / Восток как вариант.

[dmzubr]

На повестке дня пока вопрос такой не стоит)