LLM вообще генерирует код обычно куда лучше чем текст. На самой заре технологии, уже собирали топологии, где ризонинг заменялся/дополнялся кодогенерацией (PAL/LATS и т.п.) Так как в отличии от текста, код можно запустить и результат прогона отправить обратно в модель. Для кодогенерации есть множество открытых датасетов, по которой агентская топология может свое качество после итерации проверить, а если что-то можно с какой-то объективностью измерить, то через N итераций оно непременно породит решение которое на этом датасете покажет качество выше :) Но как и в любой задачи машинного обучения, это совсем не будет означать, что на задачах вне этого проверочного датасета, что-то стало значительно лучше, хотя применительно к задаче кодогенерации это работает в среднем хорошо. По совести конечно, нужны отдельные тестовые выборки, множество разных проверочных бенчмарков и хорошо бы все же какую-то обратную связь в топологию заложить в RL стиле.
Подтягивать команду и писать идеальный код, два принципиально разных навыка, редко сочетаемые в одном человеке (хотя такое и бывает). Надо на этапе набора, прозрачно ставить для себя и окружающих цели найма. Для топовых специалистов, нужны соответствующие условия, прежде всего уровень окружающих их сотрудников и управленцев должен быть сопоставим, самый лучшие звездные специалисты чахнут попав в слабую команду к бестолковому управленцу. Часто такое встречаю, до абсурда просто доходит, когда один и тот же человек подрабатывая на сторону вне основного рабочего времени творит чудеса, а на основном месте в своем бигтехе и 10% не выдает от номинала. Потому, что любая система стремиться к уровню минимальной энергией и максимальной энтропией. Это наоборот может работать, если в команду к 5 топ экспертам посадить джуна, то он может очень быстро прокачаться.
LLM вообще генерирует код обычно куда лучше чем текст. На самой заре технологии, уже собирали топологии, где ризонинг заменялся/дополнялся кодогенерацией (PAL/LATS и т.п.) Так как в отличии от текста, код можно запустить и результат прогона отправить обратно в модель. Для кодогенерации есть множество открытых датасетов, по которой агентская топология может свое качество после итерации проверить, а если что-то можно с какой-то объективностью измерить, то через N итераций оно непременно породит решение которое на этом датасете покажет качество выше :) Но как и в любой задачи машинного обучения, это совсем не будет означать, что на задачах вне этого проверочного датасета, что-то стало значительно лучше, хотя применительно к задаче кодогенерации это работает в среднем хорошо. По совести конечно, нужны отдельные тестовые выборки, множество разных проверочных бенчмарков и хорошо бы все же какую-то обратную связь в топологию заложить в RL стиле.
Подтягивать команду и писать идеальный код, два принципиально разных навыка, редко сочетаемые в одном человеке (хотя такое и бывает). Надо на этапе набора, прозрачно ставить для себя и окружающих цели найма. Для топовых специалистов, нужны соответствующие условия, прежде всего уровень окружающих их сотрудников и управленцев должен быть сопоставим, самый лучшие звездные специалисты чахнут попав в слабую команду к бестолковому управленцу. Часто такое встречаю, до абсурда просто доходит, когда один и тот же человек подрабатывая на сторону вне основного рабочего времени творит чудеса, а на основном месте в своем бигтехе и 10% не выдает от номинала. Потому, что любая система стремиться к уровню минимальной энергией и максимальной энтропией. Это наоборот может работать, если в команду к 5 топ экспертам посадить джуна, то он может очень быстро прокачаться.
Благодарю, потерял в прошлой части ссылку с переходом, поставил.