Первая часть тут. В обзор добавил Claude Sonnet 4, GPT o3 и 4.1, Qwen3, Llama 4 Maverick, Grok
Мир меняется динамично. Отдельную LLM Arena для 1С‑ного кода наверное делать смысла нет, но периодически информация обновляется.
Если для ЯП общего назначения информацию о наиболее крутых моделях найти не составляет труда, то для 1С мой «кустарный бенчмарк» кажется пока лучшее что можно обнаружить.
Принцип по которому выбрал всё тот же: LLM Arena + Статистика OpenRouter.
Эксперименты подробно описал в предыдущей статье, поэтому отдельно останавливаться не буду.
Для тех кто не любит читать табличка со сравнением в начале:
Одну сеть пришлось исключить, несмотря на то что я обещал.
Sber GigaCode — мне его рекомендовали в комментах к прошлой статье и я обязательно обещался попробовать. Т.к. есть надежды что Российские сети чуть лучше разбирают код 1С, возможно обучающая выборка могла включать закрытые или редкие сегменты рунета. Сбер вообще достаточно неплохо себя показывал в начале прошлого эксперимента.
Так вот, я честно пытался. Но кроме того что надо пройти «регистрацию, отпечаток пальца, сканер сетчатки, расписаться кровью 3 раза, продать душу дьяволу» и после этого тебе дадут к нему демо доступ на 1 час. Оно существует только в виде плагина к популярным IDE для автодополнения кода. А я не хочу автодополнения, я хочу чтобы за меня код написали.
Итак приступим:
1 Сортировка массива пузырьком
Уже тут ждало разочарование — o3 и 4.1 от OpenAI справились не лучше их младьшего брата. И Claude4 — не лучше чем её младший собрат. Видимо обучающая выборка осталась той же.
Открытые модели тоже показали себя не лучшим образом. Удивил только Grok — задача решена на ура, код на удивление красивый.
2 Метод FIFO
Claude4 тут так же на высоте, как и Claude 3.7. Такой же результат у Grok. Вцелом решила задачу Llama — если бы не удаление строк из таблицы значений в цикле по ней, было бы вообще прилично.
3 Цена из регистра остатков
Claude4 просто перемудрила. 3 страницы кода и пара выдуманных функций запросов не позволяют поставить ей высокую оценку. Открытые модели и GPT никак не справились с задачей. Grok опять на высоте.
3.1 Запрос по таблице значений
Если кто не помнит — тут суть задачи такая же что и выше, но нужно догадаться сделать запрос по таблице значений. Claude4 догадался, но вот... экзамены его сдавать не учили:
В итоге моя оценка опять средняя. Неожиданным (для меня) образом с задачей справилась Llama 4. И собственно была единственной моделью, которая решила эту задачу
3.2 Имитация «Среза последних» в запросе:
Тут прекрасно без вопросов справилась Claude. Как и младшая модель. Внезапно для меня справились GPT-шные модели. Grok решил задачу, но почему то решил что форматировать ответ не стоит и выдал его простым текстом. Для сравнения, неправильный ответ предыдущего вопроса он решил отформатировать :)
На этом этапе я очевидно исключу из сравнения Qwen3 — потому как модель ничего не показала ни в одной из задач и для кодинга в 1С очевидно не подходит.
4 Транзитивное замыкание в запросе
Самая сложная задачка — в основном для теста на научную фантастику. С ней конечно никто не справился.
5 Загрузка курсов валют с сайта ЦБ РФ
Для сетей это достаточно простая задача. Справились все кроме o3. Традиционно Claude на высоте в подобных задачах.
6 Загрузка из Excel
Тут сети «соревнуются» скорее в качестве кода, который они написали. Удивил cloude4.
Код действительно написан очень качественно. Вот пример начала:
Если быть честным, SpecialCells(11) я, к примеру не написал бы.
Собственно, все остальные модели справились с этой задачей. За исключением o3. Ну и наверное на этом этапе o3 стоит признать неподходящей для кодинга 1С. Из дальнейшего анализа её исключаю.
7 Передача таблицы между открытыми формами
Эта казалось бы простая задача оказывается почему‑то непосильной для сетей. Все упорно открывают форму с параметрами. Что то неладное «почувствовал» только Grok:
Claude тоже несколько разочаровал в данной задаче, в дополнение ещё и создав ТаблицуЗначений на клиенте. Вообще 1С‑ные «&НаКлиенте» и «&НаСервере» сети пока отрабатывают плоховато.
8 Выгрузка номенклатуры
Тут проверка была догадается ли сеть про штатную сериализацию или будет костылить свою. Догадался только Grok. Claude4 закостылил свою. GPT и Llama вообще использовали COM соединение.
9 Отображение картинки на форме
Тут всё просто. Справились Llama и Grok. У остальных (включая Claude4) всё достаточно грустно. Ну единственное, конечно у Claude неправильный, но хорошо оформленный код.
10 «РеквизитФормыВЗначение»
Для сетей это сложный тест. Прежде всего контекст задачи передать достаточно непросто. Из прошлой выборки не догадался никто. В текущей выборке опять удивил Grok.
11 Сумма по ТЧ на сервере
Тест достаточно простой. Очевидно сети справятся. Ключевая история в том чтобы догадались что большую табличку надо пересчитывать на сервере. Это уже существенно сложнее.
Выводы
С точки зрения 1С кодинга в рейтинг уверенно врывается Grok, который показал на удивление неплохие результаты. Сопоставимые с Claude (у меня получилось даже лучше) и Gemini 2.5 Pro (лишь чуть уступил).
Claude 3.7 и Claude 4 практически не отличимы, у меня 3.7 даже получились чуть лучшие результаты. Но тут может быть доля субъективизма. Тем не менее, очевидный вывод что решающее значение имеет контекст обучения а не качество модели пока что. В случае с 1С слишком мало контекста
GPT модели себя не оправдали совсем для 1С кодинга
Llama 4 действительно показывает неплохой результат, пожалуй лучший среди всех открытых моделей
Бонус. Инструменты
В предыдущей статье я писал про начало разработки инструментария для Vibe-кодинга в 1С.
Собственно этот процесс продолжается, есть некоторые успехи:
Вот так выглядит мой Cursor IDE настроенный под разработку 1С.
Два MCP сервера — это конечно основное. Один из них используется для поиска по метаданным. Второй — проверка синтаксиса. С использованием Language Server конечно. Не всё так гладко как хотелось бы, но тем не менее.
Но MCP это постфактум проверка в любом случае, так что справку для контекста ещё закинул курсору в доки:
Естественно определены базовые правила. Вроде «Ты программист 1С, у тебя N лет опыта, ты знаешь БСП, Конфигурации.... подсистемы.... не пихай везде Сообщить(), проверяй существование методов по справке 1С» и куча прочих полезностей которые собираются в процессе работы. Этим файлом я несомненно поделюсь когда будет готов его более менее финальный вариант.
Окошко с чатом по минимуму выглядит вот так:
Здесь в явном виде выбрана Gemini-2.5-pro, как лучшая сеть для работы с 1С. Но для рядовых задач можно выбрать что то побыстрее и попроще. Контекст обязательно должен включать Web поиск. Справку по языку 1С тоже крайне желательно.
Сам базовый плагин Language Server у меня конечно установлен, но доподлинно известно без MCP он не работает с Cursor. Вернее Cursor ничего не знает про его проверки:
Собственно дальше дело техники — разработка в EDT, параллельно открыт Cursor на том же каталоге. Если нужно привлечь ИИ для написания кода переключаемся на экран с Cursor и просим, там же принимаем или не принимаем изменения. Локальный git используем для версионирования и отката косяков. В Cursor конечно есть встроенное... но если меняли и в нём и в EDT то лучше git. Дебажим всё что накодил курсор конечно в EDT. Формы тоже в EDT. Вцелом есть конечно идея сделать MCP для редактирования и отладки форм. Итерационный процесс можно агенту зарядить. Но пока не знаю что получится — идея в начальной стадии проработки. Лайки если хочется попробовать — возможно это ускорит разработку тулинга.
Вцелом платность Cursor в размере 20$ в месяц. Включающая возможности использования топовых сетей для кодинга меня более чем устраивает. Но пока в части работы с метаданным достаточно много ограничений что не позволяет его использовать как полноценную IDE. В EDT конечно я провожу намного больше времени.
Что касается EDT.
Лучшее что нашлось пока выглядит вот так:
Что не устраивает:
Нет нормальных моделей
Нет MCP
Нет использования полного контекста
Нельзя подкинуть доки
Нет Web поиска
Достаточно скудное взаимодействие с редактором
Понятно что Cursor для EDT мы в одночасье не напишем, но поддержку моделей, MCP, web и контекст не выглядит сверх задачей. Вообщем плагин в стадии разработки. Надеюсь в одной из следующих версий данной истории обязательно покажу.
От себя добавлю что даже то что пока есть это просто лютая экономия времени. Используйте сети для кодинга, даже если это 1С.
Ну и конечно кому интересен выход новых фич упомянутых в публикации и вцелом тема вайб кодинга как в 1С так и за её пределами подписывайтесь на мой канал.
