Я стараюсь не забрасывать проекты на десятилетия, поэтому они у меня относительно старые. То что я начал когда-то делать и забросил. Этот проект стараюсь развивать теперь. Агент стал заметно шустрее и менее прожролив по токенам, ппримерно раза в три от момента публикации этой статьи. Спасибо за комментарий.
LM studio, кстати, из коробки мою карточку подхватил, но нагружает ее не слишком сильно, смысла в ней немного, видимо. Подумываю купить ускоритель без графического выхода, типа Tesla, они значительно дешевле сопоставимых по размерам vRAM карт от Nvidia, но с другой стороны применение уже. Благодарю за подробный гайд, буду совершенствоваться.
Спасибо. Прикольный подход... В любом случае я бы ЛЛМ не кормил такими объемами и делал бы какое-то кастомное решение, если бы пришлось. Но раз решение уже есть, то с ним и поедем.
О, спасибо, что изучили код) Да, main выглядит печально, но моя основная задача - сделать архитектуру простой и наглядной. В этом файле содержатся базовые инструменты и инструкции для LLM, разнести их не составит большого труда. Но сейчас пробежавшись глазами сразу понятно, как оно работает, буквально за пару минут.
В коде фигурируют ссылки на мой канал, это тоже намеренно сделано, просто привет от автора.
Доступ к терминалу агент имеет полный, насморя на встроенные ограничения, иногда и промпт инъекция может не понадобиться, чтобы LLM под галюном их обошла. Поэтому запускать его лучше в изолированной среде, это верно.
И да, каждый разработчик должен допилить Ануфрия напильником под себя. Я же пытаюсь создать удобную базу, чтобы допилить совего агента было как можно проще.
Агент - это всего лишь алгоритм над большой языковой моделью. Если использовать провайдера LLM, то конечно, придется платить. Если развернуть LLM локально, то работать будет автономно и бесплатно. Но для хороших моделей нужно достаточно мощное железо, а для топовых домашнего железа все равно не хватит...
В своих разработках я так и не дотянудся до LangChain, LangGraph, LangSmith... В моем понимании, с задачами моих агентов, это будто бы лишние слои абстракции, лишние надстройки, лишние токены... Но и суперагентов я не пишу, так как саму идею считаю сомнительной, мне ближе узкопрофильные агенты, которые хорошо выполняют свой набор задач. И опять же, лишние фреймворки, с какими-то черными ящиками под капотом, тоже всегда меня смущают. А за статью огромное спасибо. Лайк, подписка (давно подписан), как говорится.
Статья чуть устарела, полежала весь май в песочнице. Я чуть допилил Ануфрия, но стараюсь, чтобы он оставался таким же простым, в архитектурном плане. Если будут вопросы, рад ответить.
Я не плачу, но за всех не знаю) А вот из телеги уходить не планирую, этот инструмент мне все же нужен. Придется смириться с тем фактом, что там злые злодеи есть.
Да, стоило оговориться, что я не противник этого подхода, если он обоснован и не превращает работу с нейронкой в бесконечный цикл вызовов модели и инструментов. К сожалению, не очень понял, как в вашем случае курсор выполняет те же действия без инструментов, но вероятно это тот случай, когда все сделано прямыми руками и нужными средствами.
Я стараюсь не забрасывать проекты на десятилетия, поэтому они у меня относительно старые. То что я начал когда-то делать и забросил. Этот проект стараюсь развивать теперь. Агент стал заметно шустрее и менее прожролив по токенам, ппримерно раза в три от момента публикации этой статьи. Спасибо за комментарий.
Отправил приглашение. Теперь песочницы на твоем пути быть не должно. Как напишешь статью, маякни)
LM studio, кстати, из коробки мою карточку подхватил, но нагружает ее не слишком сильно, смысла в ней немного, видимо. Подумываю купить ускоритель без графического выхода, типа Tesla, они значительно дешевле сопоставимых по размерам vRAM карт от Nvidia, но с другой стороны применение уже. Благодарю за подробный гайд, буду совершенствоваться.
Т.е. вы не верите, что Ануфрий на винде Пентагон сломает? Ну-ну...
Сейчас запускаю на старом компе, оперативы там 32гб, но видюха древняя амд на 8гб. Агент с большим контекстом на qwen 3-14b тяжеловато работает.
Благодарю, не углублялся в этот вопрос. А похоже надо, скорость сервера с LLM принципиально важна.
Спасибо. А я как-то мимо Llama вообще хожу. Как попробовал LM studio, так и юзаю. А в чем преимущества?
Спасибо. Прикольный подход... В любом случае я бы ЛЛМ не кормил такими объемами и делал бы какое-то кастомное решение, если бы пришлось. Но раз решение уже есть, то с ним и поедем.
О, спасибо, что изучили код) Да, main выглядит печально, но моя основная задача - сделать архитектуру простой и наглядной. В этом файле содержатся базовые инструменты и инструкции для LLM, разнести их не составит большого труда. Но сейчас пробежавшись глазами сразу понятно, как оно работает, буквально за пару минут.
В коде фигурируют ссылки на мой канал, это тоже намеренно сделано, просто привет от автора.
Доступ к терминалу агент имеет полный, насморя на встроенные ограничения, иногда и промпт инъекция может не понадобиться, чтобы LLM под галюном их обошла. Поэтому запускать его лучше в изолированной среде, это верно.
И да, каждый разработчик должен допилить Ануфрия напильником под себя. Я же пытаюсь создать удобную базу, чтобы допилить совего агента было как можно проще.
Агент - это всего лишь алгоритм над большой языковой моделью. Если использовать провайдера LLM, то конечно, придется платить. Если развернуть LLM локально, то работать будет автономно и бесплатно. Но для хороших моделей нужно достаточно мощное железо, а для топовых домашнего железа все равно не хватит...
В своих разработках я так и не дотянудся до LangChain, LangGraph, LangSmith... В моем понимании, с задачами моих агентов, это будто бы лишние слои абстракции, лишние надстройки, лишние токены... Но и суперагентов я не пишу, так как саму идею считаю сомнительной, мне ближе узкопрофильные агенты, которые хорошо выполняют свой набор задач. И опять же, лишние фреймворки, с какими-то черными ящиками под капотом, тоже всегда меня смущают. А за статью огромное спасибо. Лайк, подписка (давно подписан), как говорится.
Статья чуть устарела, полежала весь май в песочнице. Я чуть допилил Ануфрия, но стараюсь, чтобы он оставался таким же простым, в архитектурном плане. Если будут вопросы, рад ответить.
Ей активно пользуются. Последнее время уже вообще все вернулись, по ощущениям, хотя в 22-м она действительно опустела.
Я не плачу, но за всех не знаю) А вот из телеги уходить не планирую, этот инструмент мне все же нужен. Придется смириться с тем фактом, что там злые злодеи есть.
Возможно. А твое "ещё одно не работающее и не нужное" - это объективные данные надо полагать?)
Да, стоило оговориться, что я не противник этого подхода, если он обоснован и не превращает работу с нейронкой в бесконечный цикл вызовов модели и инструментов. К сожалению, не очень понял, как в вашем случае курсор выполняет те же действия без инструментов, но вероятно это тот случай, когда все сделано прямыми руками и нужными средствами.
Но может и не понять, из-за перегруза контекста. Меньше контекста- выше точность ответа и меньше шансов поймать галюна.
Ну как не обижаться то, когда рандомный чел из тырнетов что-то написал? Дружище, я только рад, что ты больше не грустишь.
Как легко вы определили тягу. Аргументов столько, что не оспорить.
Спасибо. Это просто данные, которые отдает API, но в наглядном формате, стилизованные под известную кинофраншизу)