Спасибо за комментарий! Я не пытался объять необъятное, тему окупаемости планировал раскрыть во второй статье триптиха " Особенности ИИ‑агентов в управлении проектной деятельностью. И когда в них вообще есть смысл." Тем не менее, раздел про экономику в статье есть и тезис там сходен с вашим: считать нужно стоимость надежно завершенного сценария со всеми накладными. Но раз вы раздела не заметили, значит, подвела подача; в следующей статье вынесу окупаемость в явный подзаголовок, замечание принимаю. А за утренний ритуал отдельный респект: у меня похожая история, только мой агент просеивает поток новостей агентизации, отделяя их от agent-washing, рекламы, перепевок чужих статей. Похоже, агент, который "следит за агентами", становится обязательным инструментом профессии )
Спасибо за комментарий. Схема с проверяющей моделью действительно работает и по моей практике. Только желательно чтобы это были разные модели. Формула P(исполнитель) × P(контролёр) предполагает независимость отказов, а у моделей с общими обучающими данными, общим контекстом и общими слепыми зонами отказы коррелируют, плюс контроллер приносит собственный класс ошибок - ложные отклонения.
В статье есть ссылка на пример от компании Bayer - из системы PRINCE убрали проверку сгенерированного SQL второй моделью: она стала отклонять корректные запросы, замедляя контур и не дав соразмерного прироста точности (https://martinfowler.com/articles/reliable-llm-bayer.html ). Исследовательская база о том же: без внешней обратной связи модели редко исправляют собственные рассуждения (https://arxiv.org/abs/2310.01798 ), а у модели-судьи есть измеренные систематические смещения - позиционное, на длину ответа, в пользу собственных генераций (https://arxiv.org/abs/2306.05685).
Спасибо за комментарий!
Я не пытался объять необъятное, тему окупаемости планировал раскрыть во второй статье триптиха " Особенности ИИ‑агентов в управлении проектной деятельностью. И когда в них вообще есть смысл."
Тем не менее, раздел про экономику в статье есть и тезис там сходен с вашим: считать нужно стоимость надежно завершенного сценария со всеми накладными. Но раз вы раздела не заметили, значит, подвела подача; в следующей статье вынесу окупаемость в явный подзаголовок, замечание принимаю.
А за утренний ритуал отдельный респект: у меня похожая история, только мой агент просеивает поток новостей агентизации, отделяя их от agent-washing, рекламы, перепевок чужих статей. Похоже, агент, который "следит за агентами", становится обязательным инструментом профессии )
Спасибо за комментарий. Схема с проверяющей моделью действительно работает и по моей практике. Только желательно чтобы это были разные модели. Формула P(исполнитель) × P(контролёр) предполагает независимость отказов, а у моделей с общими обучающими данными, общим контекстом и общими слепыми зонами отказы коррелируют, плюс контроллер приносит собственный класс ошибок - ложные отклонения.
В статье есть ссылка на пример от компании Bayer - из системы PRINCE убрали проверку сгенерированного SQL второй моделью: она стала отклонять корректные запросы, замедляя контур и не дав соразмерного прироста точности (https://martinfowler.com/articles/reliable-llm-bayer.html ). Исследовательская база о том же: без внешней обратной связи модели редко исправляют собственные рассуждения (https://arxiv.org/abs/2310.01798 ), а у модели-судьи есть измеренные систематические смещения - позиционное, на длину ответа, в пользу собственных генераций (https://arxiv.org/abs/2306.05685).