Замена Claude: Kimi набрала 96% в моем тесте работы с 1С

[Patrick139]

В общем чистой воды разбой

Спросил бы у нейронки, что такое "разбой"

[Anoviul]

У клауда уже не спросишь ))
А Ваш намек на то, что следует различать воровство от разбоя, он понятен

[Chemist_modeler]

Я бы сказал, что это называется не "воровство", а "грабёж". Но юристам здесь виднее.

[LiliJulie]

Грабеж это открытое хищение, а тут компания просто заблокировала доступ к своим серверам) Скорее уж односторонний разрыв договора без компенсации неотработанного аванса

[dmitrievsky]

а чего доступ то закрывают?

[RunetX]

Чистят мутных перед IPO

[Rebeiro]

где вы там мир нашли, я в пятницу смотрел не было, сейчас тоже нет, такого способа оплаты

upd а все понял, впн вырубил и сразу появилась карта

[teraferma_io]

Девять вопросов по 100% и один на 50% в простом среднем дают 95%, а в итоге у вас 96,2%. Считали по отдельным проверкам, а не по вопросам? Такая цифра выходит, например, при 25 из 26, но тогда не прошла бы только одна проверка, а у вас в шестом вопросе ошиблись две суммы. С двумя ошибками 96,2% получается при 52–53 проверках. Если выложите схему подсчёта, будет проще сравнить с вашими прошлыми прогонами ChatGPT, Claude и Алисы.

И какая версия модели стояла в приложении? Если это одна из открытых K2, то на случай, если и этот доступ закроют, связку с MCP можно поднять у себя. Только даже в 4 битах веса занимают больше полутысячи гигабайт. llama.cpp или KTransformers позволяют держать экспертов в оперативке и обойтись одной видеокартой, но памяти тогда нужно 512–768 ГБ, а скорость падает до нескольких токенов в секунду. Каждый ответ базы ещё и раздувает контекст, так что даже при двух-трёх обращениях на вопрос ждать придётся минутами. Это скорее запасной вариант для компании, чем для ноутбука разработчика.

[Anoviul]

Спасибо за вопрос, в статье недостаточно пояснил как считал. Это взвешенная оценка, а не простое среднее

Вопросы 1-6 имели вес 1, вопросы 7-8 по 1,5, вопросы 9-10 по 2. Суммарный вес 13. За шестой вопрос начислил половину его веса: состав топ-3 правильный, но две суммы неверные. Получилось 12,5 / 13 × 100 = 96,15%, после округления 96,2%. А при равном весе вопросов действительно было бы 95%.

По версии модели: K3

В статье я выражал свой опыт на примере 10 вопросов. Этот расчет не для диссертации, а показать, что в целом модель способна решать распространенные вопросы по получению данных из 1С.

[LiliJulie]

Ого, Кими реально принимает оплату нашими картами без танцев с бубном, как-то пропустил эту новость мимо глаз)

[Anoviul]

Да, принимает. Многие не замечают, так как сидят на vpn, а когда он включен, то кими думает, что пользователь не из РФ и не показывает карту мир в списках доступных.

[Senior_developer_123]

А до сих пор принимает?

А то вроде писали что уже отключили