Там критерии оценки достаточно точно описаны, большой разницы в оценках не будет в зависимости от модели. А вот если давать формулировать критерии разным моделям - тогда уже отличия могут быть существенными
Да, спасибо попробую. Но на самом деле мой флоу разработки выглядит по-другому. Я на этапе планирования сначала просто говорю что я хочу, а потом уже в диалоге с моделью рождаются детализированные требования как это будет работать, и модели на самом деле в таком подходе реже забывают про тесты, и документацию у меня они почти всегда обновляли. Просто для бенчмарка сложно было формализовать такой подход. Поэтому реальной работе возможно модели будут себя проявлять получше чем в ходе тестирования.
В статье я упомянул, что у меня в AGENTS.md указано, что тесты нужно писать, и другие тесты в репозитории есть. То есть штраф идет по сути за то, что модель не следует инструкциям. Писать каждый раз в промте, что нужно написать тесты не очень удобно. Хотя конечно в идеале это решается пайплайном кодревью, где есть четкие критерии нужны тесты или нет.
Это все же зависит от инструмента, который используется. Файлы типа AGENTS.md добавляются в контекст перед первым запросом. Если смотреть документацию Opencode, AGENTS.md поддерживается: https://opencode.ai/docs/rules/
Данные кажутся несколько заниженными, по крайней мере для Java, если говорить с рекрутерами и спрашивать про вилки, например для сеньора, будет от 300к. Возможно компании с высокими зарплатами просто не публикуют конкретные цифры
Там критерии оценки достаточно точно описаны, большой разницы в оценках не будет в зависимости от модели. А вот если давать формулировать критерии разным моделям - тогда уже отличия могут быть существенными
Да, спасибо попробую. Но на самом деле мой флоу разработки выглядит по-другому. Я на этапе планирования сначала просто говорю что я хочу, а потом уже в диалоге с моделью рождаются детализированные требования как это будет работать, и модели на самом деле в таком подходе реже забывают про тесты, и документацию у меня они почти всегда обновляли. Просто для бенчмарка сложно было формализовать такой подход. Поэтому реальной работе возможно модели будут себя проявлять получше чем в ходе тестирования.
В статье я упомянул, что у меня в AGENTS.md указано, что тесты нужно писать, и другие тесты в репозитории есть. То есть штраф идет по сути за то, что модель не следует инструкциям. Писать каждый раз в промте, что нужно написать тесты не очень удобно. Хотя конечно в идеале это решается пайплайном кодревью, где есть четкие критерии нужны тесты или нет.
Ну это опять же говорит о том, что модели от Антропик игнорируют инструкции
Это все же зависит от инструмента, который используется. Файлы типа AGENTS.md добавляются в контекст перед первым запросом. Если смотреть документацию Opencode, AGENTS.md поддерживается: https://opencode.ai/docs/rules/
Я говорю про net, в статье кстати нигде не увидел уточнения, какие это цифры - гросс или нет.
По сравнению с 21-22 годами субъективно кажется, что зарплаты немного просели, на 10-15% от самых пиков
Данные кажутся несколько заниженными, по крайней мере для Java, если говорить с рекрутерами и спрашивать про вилки, например для сеньора, будет от 300к. Возможно компании с высокими зарплатами просто не публикуют конкретные цифры