Обязательно будет, и лог и видео и описание эксперимента в следующих статьях. Последний раз когда пытался снять публичное видео, вскрылись некоторые недостатки агента, вроде использования eval() при выполнении кода и подобное. На днях будет большое обновление по проекту, и займусь экспериментом. Если кратко то было вот что при моих предыдущих попытках: 1. Достаточно продвинутая модель вполне выполняет код, действует и пытается выполнять задачи. 2. Ключевое - системный промпт. От его формирования зависит вообще всё. 3. Достаточно сложно бороться с "размазыванием контекста" - чем больше системный промпт, тем модель его усваивает более фрагментарно. На больших моделях проблем меньше, но они присутствуют. Здесь я вижу выход именно в дообучении модели не как ассистента, а как агента. 4. Пересказ прошлых попыток такой: модель создала структуру таблиц в бд, начала использовать команды для мониторинга сервера, пытаться оптимизировать бд и зациклилась на этом, однако, при этом, часть времени уделяла пополнению своей БД пытаясь использовать различные АПИ (но там в системном промпте была установка организовать свою логику хранения памяти). При вмешательстве пользователя откликалась и пыталась выполнять задачи. Контекст я давал небольшой, и большую историю сообщений лучше не отправлять, максимум 4-5 сообщений, и в системном промпте обязательно объяснить как работать с памятью.
Пока что предварительно вывод один: идеальным было бы дообучение модели под такое использование (работа в цикле, команды и т.д.). И модель должна быть не столько всезнающей сколько агентской. То есть это не должна быть сильно тяжелая модель, это должна быть как раз не сильно тяжелая модель, с упором в дообучении именно на агентское поведение, более глобальное мышление (не как модель ассистент которому нужно помочь юзеру здесь, сейчас и по именно вот этому вопросу). В будущей статье я это всё попытаюсь максимально раскрыть и донести, максимально задокументировав.
С одной стороны кажется нерационально, однако, мне видится, придет время, и это станет обыденной повседневностью. Просто сейчас это всё проходит свой путь. И еще на разных задачах такие решения могут показывать разную эффективность, но сейчас сама эта тема на пике популярности, и происходит путь экспериментов, создания собственного опыта, проб и ошибок. В целом, много процессов протекает подобным образом...
Абсолютно согласен, если бы модель работала исключительно в замкнутой системе. Но здесь предполагается доступ к любым внешним источникам, вмешательство пользователя, выполнение реальных действий и подобное. Это только путь, это ведь не что-то финальное, и я ни в коем случае не претендую на то чтоб прямо создать что то production ready. Это просто эксперимент, и он может быть как успешным так и не успешным. С научной точки зрения неуспех эксперимента в каком-то смысле тоже успех :)
В следующей статье обязательно будет, уже не про сам агент а про его испоьзование. Но по факту, мне кажется, это будет зависеть от стартового промпта :)
Просто потому что не знаю python :) а PHP мой повседневный рабочий инструмент. Но для вот этого проекта во многом PHP+Laravel вполне подходит и в некотором смысле, субъективно даже лучше, так как напрямую не относится к выполнению "мышления" LLM модели. Ведь в техническом смысле это просто клиент, и PHP вполне подходит для подобных проектов.
Спасибо за ссылку, правда очень интересно. Однако, возможно стоило бы опубликовать? Мне кажется, так было бы больше шансов привлекать энтузиастов, разработчиков.
Спасибо :) В глубокой теории да, но, deepseek и другие модели дообучать придется 100%. Ну, в любом случае чтобы это так работало, должно пройти время и вложено много усилий. И еще реакция общества, вопросы этики и подобное.
Обязательно будет, и лог и видео и описание эксперимента в следующих статьях. Последний раз когда пытался снять публичное видео, вскрылись некоторые недостатки агента, вроде использования eval() при выполнении кода и подобное. На днях будет большое обновление по проекту, и займусь экспериментом. Если кратко то было вот что при моих предыдущих попытках:
1. Достаточно продвинутая модель вполне выполняет код, действует и пытается выполнять задачи.
2. Ключевое - системный промпт. От его формирования зависит вообще всё.
3. Достаточно сложно бороться с "размазыванием контекста" - чем больше системный промпт, тем модель его усваивает более фрагментарно. На больших моделях проблем меньше, но они присутствуют. Здесь я вижу выход именно в дообучении модели не как ассистента, а как агента.
4. Пересказ прошлых попыток такой: модель создала структуру таблиц в бд, начала использовать команды для мониторинга сервера, пытаться оптимизировать бд и зациклилась на этом, однако, при этом, часть времени уделяла пополнению своей БД пытаясь использовать различные АПИ (но там в системном промпте была установка организовать свою логику хранения памяти). При вмешательстве пользователя откликалась и пыталась выполнять задачи. Контекст я давал небольшой, и большую историю сообщений лучше не отправлять, максимум 4-5 сообщений, и в системном промпте обязательно объяснить как работать с памятью.
Пока что предварительно вывод один: идеальным было бы дообучение модели под такое использование (работа в цикле, команды и т.д.). И модель должна быть не столько всезнающей сколько агентской. То есть это не должна быть сильно тяжелая модель, это должна быть как раз не сильно тяжелая модель, с упором в дообучении именно на агентское поведение, более глобальное мышление (не как модель ассистент которому нужно помочь юзеру здесь, сейчас и по именно вот этому вопросу). В будущей статье я это всё попытаюсь максимально раскрыть и донести, максимально задокументировав.
С одной стороны кажется нерационально, однако, мне видится, придет время, и это станет обыденной повседневностью. Просто сейчас это всё проходит свой путь. И еще на разных задачах такие решения могут показывать разную эффективность, но сейчас сама эта тема на пике популярности, и происходит путь экспериментов, создания собственного опыта, проб и ошибок. В целом, много процессов протекает подобным образом...
Абсолютно согласен, если бы модель работала исключительно в замкнутой системе. Но здесь предполагается доступ к любым внешним источникам, вмешательство пользователя, выполнение реальных действий и подобное. Это только путь, это ведь не что-то финальное, и я ни в коем случае не претендую на то чтоб прямо создать что то production ready. Это просто эксперимент, и он может быть как успешным так и не успешным. С научной точки зрения неуспех эксперимента в каком-то смысле тоже успех :)
В следующей статье обязательно будет, уже не про сам агент а про его испоьзование. Но по факту, мне кажется, это будет зависеть от стартового промпта :)
Просто потому что не знаю python :) а PHP мой повседневный рабочий инструмент. Но для вот этого проекта во многом PHP+Laravel вполне подходит и в некотором смысле, субъективно даже лучше, так как напрямую не относится к выполнению "мышления" LLM модели. Ведь в техническом смысле это просто клиент, и PHP вполне подходит для подобных проектов.
Спасибо за ссылку, правда очень интересно. Однако, возможно стоило бы опубликовать? Мне кажется, так было бы больше шансов привлекать энтузиастов, разработчиков.
Спасибо :) В глубокой теории да, но, deepseek и другие модели дообучать придется 100%. Ну, в любом случае чтобы это так работало, должно пройти время и вложено много усилий. И еще реакция общества, вопросы этики и подобное.