Нет конечно. И не придётся. Меня удивляет что серьёзно приходится объяснять почему этот тест первый в бенчмарке. Смысл в том что это простейший алгоритм, который "знает" любая сеть которая умеет кодить хоть на чём то. И его очень просто проверить.
Посему:
1) Если сеть не может сделать сортировку пузырьком надо её сразу выкидывать - кодить этой моделью нельзя
2) Если сеть не может сделать его на 1С - значит адаптировать такой простой алгоритм под 1С синтаксис она не может - не знает её совсем. Кодить на 1С этой моделью нельзя.
Таким образом этим бенчмарком безбожно откидываются все сети которые 100% непригодны для разработки.
И даже в нём сетки сделанные специально для разработки показывают хороший результат.. и он заметен сразу
Ну время это всё занимает. Вцелом код я уже примерно приводил для каждого кейса. В данном случае имело смысл привести только для sonnet по сути. Ну просто и без просмотра кода достаточно очевидно что она прекрасна...
Там NDA - сравнивать нельзя. Ну и напарник это же ассистент - это не полноценный вайбкодинг по сути. Намекну... посмотрите результаты даже самых современных открытых моделей даже со всеми MCP... и сравните с пропиетарными... файнтюнинг ничего относительно поставки нужного контекста LLM не даёт...
Ну я же там пишу про MCP... подключаются MCP и правила. В итоге модель каждый метод которых хочет использовать сначала ищет по справке, а потом ещё синтаксис проверяет... Так что победили эту историю уже... даже самые тупые модели удаётся "вразумить" :)
Это наверное тема отдельной статьи и пока ещё не готов на эту тему полные рекомендации давать. С контекстом я более менее разобрался конечно. КОнфигуратор я совсем не использую EDT только EDT по сути работает с конфигурацией как с файлами. Пока у меня открыт Cursor и EDT. Соответственно что то генерирую в Cursor, что то правлю напрямую в EDT
Спасибо. Я кратко посмотрел у меня просто контекст немного другой... полноценного вайбкодинга конечно не получится пока что. (метаданные и формы в XML), соответственно проект будет одного модуля а задача понимания кода сводится к понимаю метаданных
Спасибо. Ну я вначале описал почему модели выбрал такие - их используют для кодинга через OpenRouter по статистике... Сбер-а просто там нет, но честно вначале сбер очень удивил. GigaCode обязательно попробую, если впечатлит скорректирую стату...
Дада и пока там трэш. Sonnet 4.5 - 5й(!!!) в рейтинге.
Нет конечно. И не придётся. Меня удивляет что серьёзно приходится объяснять почему этот тест первый в бенчмарке. Смысл в том что это простейший алгоритм, который "знает" любая сеть которая умеет кодить хоть на чём то. И его очень просто проверить.
Посему:
1) Если сеть не может сделать сортировку пузырьком надо её сразу выкидывать - кодить этой моделью нельзя
2) Если сеть не может сделать его на 1С - значит адаптировать такой простой алгоритм под 1С синтаксис она не может - не знает её совсем. Кодить на 1С этой моделью нельзя.
Таким образом этим бенчмарком безбожно откидываются все сети которые 100% непригодны для разработки.
И даже в нём сетки сделанные специально для разработки показывают хороший результат.. и он заметен сразу
Ну время это всё занимает. Вцелом код я уже примерно приводил для каждого кейса. В данном случае имело смысл привести только для sonnet по сути. Ну просто и без просмотра кода достаточно очевидно что она прекрасна...
Ничего не понял в сути опус-а. Статья не по бухгалтерии. Все выводы в первых строчках. Не нравится - не читайте.
Если что я этого не писал и конечно же всячески несогласен :)
Там NDA - сравнивать нельзя. Ну и напарник это же ассистент - это не полноценный вайбкодинг по сути. Намекну... посмотрите результаты даже самых современных открытых моделей даже со всеми MCP... и сравните с пропиетарными... файнтюнинг ничего относительно поставки нужного контекста LLM не даёт...
Там сложнее - на клиенте нельзя же
Откуда использовать без разницы. Важно rules правильные и MCP подключить. В Web-е это несколько посложнее, но тоже реально https://rutube.ru/video/1d678a49f0f990309432c206bd7e035d/ а вцелом на текущий момент по соотношению цена-качество я бы рекомендовал https://rutube.ru/video/f6cd0f74fde7140d3038e347b662dac7/
Ну да :) почему то хабр редактор вставляет плеер с рутуба именно так :(
Ну я же там пишу про MCP... подключаются MCP и правила. В итоге модель каждый метод которых хочет использовать сначала ищет по справке, а потом ещё синтаксис проверяет... Так что победили эту историю уже... даже самые тупые модели удаётся "вразумить" :)
По напарнику от 1С обзоры писать нельзя, как уже говорил в предыдущей статье...
Это наверное тема отдельной статьи и пока ещё не готов на эту тему полные рекомендации давать. С контекстом я более менее разобрался конечно. КОнфигуратор я совсем не использую EDT только EDT по сути работает с конфигурацией как с файлами. Пока у меня открыт Cursor и EDT. Соответственно что то генерирую в Cursor, что то правлю напрямую в EDT
Наверное ни то ни другое как обычно :)
To be updated: o3 и Grok - не бредовые истории. Через них все примеры прогоню
Юзать можно - нельзя писать статьи, обсуждать публично и т.п.
Спасибо. Я кратко посмотрел у меня просто контекст немного другой... полноценного вайбкодинга конечно не получится пока что. (метаданные и формы в XML), соответственно проект будет одного модуля а задача понимания кода сводится к понимаю метаданных
4o без mini
Ну gemini именно 2.5 pro experemental попробуй... чесслово - там Claude и Gemini прямо другой уровень. Да, ошибки бывают.
Ну MS везде пиарит я не нашел какая именно там модель...
Спасибо. Ну я вначале описал почему модели выбрал такие - их используют для кодинга через OpenRouter по статистике... Сбер-а просто там нет, но честно вначале сбер очень удивил. GigaCode обязательно попробую, если впечатлит скорректирую стату...