Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 24
>Мощность модели — не главное. Что на самом деле делает AI-агента умным
Что? Агент -- это "тупой" набор эвристик на ваш вкус и цвет, собранный в сценарий из отдельных промтов и вызовов стороннего кода и собранный в попытках имитировать мышление пользователя (разработчика?) в процессе решения абстрактной задачи.
Именно это сейчас делают все агенты.
Если очистить любой агент от всего этого -- останется лишь петля обратной связи, просто цикл "запрос к ллм" -> "shell-вызов/tools/MCP по необходимости" -> "результат" -> "следующий запрос к ллм" -> ...
помогает ли нейробиология писать эти "универсальный обёртки над ллм"? хм... не уверен.
любой опытный разработчик может написать себе агента уровня клода или лучше, под себя. под свой стиль и по своему разумению. или просто "дать ллм-ке shell" -- и посмотреть что за краб получится.
попадаются еще прикольные приемы типа имитировать память в md-шечке и, конечно, сжатие контекста, и т.п. но это не принципиально.
Написать, согласен.
Вопрос в том, как он будет себя вести на длинных и неочевидных задачах.
На практике:
без нормального управления памятью агент “плывёт”
без стратегии декомпозиции - тупит на сложных задачах
без валидации - уверенно врёт
Поэтому большинство таких решений остаются “игрушками под себя”, а не универсальными инструментами.
>Память как граф, а не список
тогда эффективнее векторная база с теми самыми эмбеддингами, разве нет?
ну т.е. не текстовое представление в md, а векторное
Векторная база решает немного другую задачу - поиск по сходству (semantic retrieval).
Это удобно, когда нужно “вспомнить что-то похожее”.
А граф — это уже про структуру и связи:
кто с кем связан, что от чего зависит, какие есть состояния и переходы.
Условно:
векторка отвечает на вопрос “что похоже на это?”
граф отвечает на вопрос “как это связано и что из этого следует?”
В реальных агентах они часто комбинируются:
векторка — для retrieval, граф — для логики/контекста.
сколько оперативной и локальной памяти использует Дока ?
Эммм. Не одним неокортексом едины - логика это уже не неокортекс. "Думай медленно, решай быстро" Канемана. Тоже хорошо описывает часть работы мозга и конгитивные ошибки вполне сродни галицинациям моделей.
Память как граф
Тут еще нужны метки времени. Чтобы ИИ знал как глубоко копать. Есть ситуации, когда старая инфо не нужна, а есть когда надо знать что происходило в течении всего проекта, или конкретный момент с чего он начинался.
На Mac не грузится, пишет "файл поврежден" и рекомендует отправить в корзину?
Интересный проект! Автор - молодец! ))
У меня два вопроса:
у меня пока, к сожалению, нет возможности запускать локальную модель; я правильно понимаю, что можно настроить, чтобы работал не с локальной моделью, а через API сторонних LLM-провайдеров (конкретно меня интересует OpenRouter)?
есть желание удалённо рулить агентом; есть ли интеграция с Телеграм?
Илья, здравствуйте. Меня зовут Саша Корнилов. Я зарегистрировался на Хабре из за вас.
Я думаю, что вам нужен тупой коллега по развитию Доки. Дела по разработке Доки не пойду, а взлетят в космос. Как вам предложение обзавестись тупым коллегой?
А что именно взлетит в космос?
Вас будут любить пользователи. И я в*ас буду любить. А пока я вас не люблю, потому что вы не любите пользователей. Если вы думаете, что вы сделали по функционалу крутую вещь и этого достаточно. Нет. Нет. И Нет. И я как тупой пользователь вас не люблю, потому что вы думает, что если вам всё понятно и вы итак максимально просто сделали для пользователя. Я сообщаю вам, что ваша прога для простого тупого пользователя не понятна.
А значит вам нужен в помощники тупой пользователь, который будет задавать вам тупые пользовательские вопросы и говорить: "Это что, а это что, а это как не понятно?"
Вы будет злиться, говорить ну разве можно быть таким тупым, но если полюбите пользователя, то и дела вашей Доки пойдут на лад.
Вам нужно определиться для кого вы делаете Доку.
Если делаете для себя, то вероятно и так сойдет, а может даже уже перебор с юзабилити (это я просто выучил слово).
Если вы делаете, чтобы пользовались такие же продвинутые коллеги как вы. Они скажу, что это "говно" и надо делать не так, а так (и приведут кучу понятных вам и им технологий и будут спорить).
Если вы делаете для тупого пользователя (менагерофф) как я. То ничего не понятно. И только я тупой пользователь любознайка взял зарегался в первые на хабре и подписался на вас на бусти. Потому что я случайно наткнулся на Доку когда искал рекомендованную продвинутым коллегой прогу hyperlink.nexa.ai - Лучший локальный ИИ для папок! (ссылка на коллегу по тупизне: https://www.youtube.com/watch?v=0HOrCwUY5Es). Он скотина порекомендовал в видосе я полез устанавливать лучший локальный ИИ для папок. Не нашел (они козлы, куда-то заныкались). Но нашел вас. Скачал. Повелся на ваши рассказы, прочитал статью на хабре вашу.
Скачал. И охерел. Ничего не понятно.
Поэтому вам не хватает тупой обратной связи. А почему не хватает, потому что это труд интеллектуальный. А сейчас тупому пользователю проще снести прогу и пойти скачать другую.
А ещё я могу читать ваши статьи на бусти и задавать тупые вопросы от тупого пользователя. Чтобы было понятно простым людишкам, как я. Что вы пишите.
Пример:
Дока — инди-проект.
Инди-проект - это жаргонное слово вижу в первый раз. Сначала тупил и непонимал, что за новое слово. Потом до шло, как до жирафа.Я думал, что это индейский проект. Потому что настоящему индейцу завсегда везде ништяк.
А ещё я хочу попробовать собрать жертвоприношения для обучения моделей 2 499 999, но это не интересно. Давайте собирать 2 500 000?
Я 100 рублей уже бросил.
И тут подвоха не никакого. Просто мне 52 года, я понимаю, что ни хрена не понимаю, но надо. И я любознательный. А ещё у меня богатый опыт с программистами. Я прошел через ад. И поэтому я понимаю, что те кто, как вы обладают, они для меня инопланетные люди. Создают то, что я не в силах понять, но очень хочется.
Спасибо за отзыв!
Используется llama.cpp
Планируется ли реализация спекулятивного декодирования mtp?
Это запланировано.
Как увеличить контекст?
Гибкое управление контекстом в разработке.
При загрузке большой модели типо qwen 3.6 27b или 35B пытается по таймауту переключится на CPU.
Это уже исправлено и будет доступно в ближайшем обновлении.
Йоу! Дока мне сильно понравилась! Какой Бекенд используется? llama.cpp? Планируется ли реализация спекулятивного декодирования mtp? Как увеличить контекст? При загрузке большой модели типо qwen 3.6 27b или 35B пытается по таймауту переключится на CPU.
4 т/с работает на 12 g gpu + 32 g cpu
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Мощность модели — не главное. Что на самом деле делает AI-агента умным