Comments 23
А где замеры скорости? И почему такая древняя модель выбрана?
Вы только токены и цены посчитали, но нет никаких данных о качестве кода с применением QMD и без применения. Плюс отчетливо видно что характер экономии нестабильный и невоспроизводимый. Очень похоже на то, что вы своими допусками и оговорками притягиваете результат за уши для броского заголовка и выводов недоказанных и обоснованных небольшой выборкой.
Согласен, выборка небольшая, о чем я прямо написал в статье. Это предварительный эксперимент, а не полноценный статистический бенчмарк. На двух задачах большого проекта экономия составила 40,92% и 1,33%. Формально медианная экономия 21,1%, но при двух измерениях делать из нее статистически значимые выводы некорректно. При этом разброс между разными задачами еще не означает невоспроизводимость. Для ее оценки нужно многократно запускать одну и ту же задачу в одинаковых условиях и смотреть на распределение результатов. Качество кода отдельно не измерял, это справедливое замечание. Для полноценного исследования нужны десятки задач, повторные прогоны, проверка корректности изменений, медиана стоимости и межквартильный размах. Но цель статьи была скромнее проверить, может ли семантический поиск вообще снизить расходы на токены. В одном случае снижение оказалось около 41%, в другом — практически нулевым, а на маленьком проекте QMD вообще увеличил стоимость на 60%. То есть я не утверждаю, что QMD гарантированно экономит 40%. Я показываю, что такой эффект возможен, и при каких условиях инструмент может оказаться полезен.
Ну, тогда получается, что Вы просто описали любопытное локальное наблюдение. Я то подумал Вы уже метод заявляете.
Я хочу расширить эксперимент. Добавить структурный анализ кода (AST, граф зависимостей) с помощью GitNexus. Авторы GitNexus тоже заявляют о снижении расхода токенов кодинг-агентами. Идея не в том, чтобы сравнить три подхода по отдельности, а в том, чтобы объединить их в одной сессии: обычный текстовый поиск (find, rg, grep), семантический поиск (QMD) и структурный анализ (GitNexus). Хочу, чтобы ИИ-агент сам выбирал наиболее подходящий инструмент в зависимости от ситуации и при необходимости комбинировал их. Например, семантическим поиском находил нужную функциональность, через граф зависимостей изучал связи между компонентами, а точным поиском находил конкретные вызовы и реализации. Цель добиться максимальной эффективности всей связки: сократить расход токенов без потери качества анализа и генерируемого кода.
Хочу, чтобы ИИ-агент сам выбирал наиболее подходящий инструмент
Рискуете еще снизить эффект от снижения расхода токенов за счет перебора вариантов, лишних диалогов и ложных срабатываний. Но еще до всего этого надо прогнать тесты с одинаковым ТЗ с QMD и без него и качество кода сравнить. Иначе может получиться что гора родила мышь.
Верняк ) по воробьям из пушки что бы не вышло )
Посмотри апдейт статьи ) сокращение еще на 10%, те экономия 55% если QMD + GitNexus. Желаешь сам попробовать потестить? Независимый и нормальный бенчмарк сделать )
К тому же кэшированный ввод у моделей очень сильно зависит от порядка чтения файлов и длины системного промпта в конкретной сессии. Два разных промпта на одной и той же задаче легко дадут разброс в тридцать процентов даже без всяких плагинов
я где-то похожую идею уже встречал. По моему был аналогичного назначения плагин для. Opencode, но не уверен. Выглядит логично, но есть один момент - grep и прочие работают непосредственно по актуальной кодовой базе. В вашем варианте, если я правильно понял, поиске идет по состоянию на момент последней индексации. Переидндексация как-то автоматически выполняется или ее надо руками проводить?
Я руками запускаю, но можно в AGENTS.md добавить 1 строчку - мол запускай переиндексацию когда завершил работу такими-то командами или хук сделать, который по завершении сессии сам переиндесацию запускает, кстати она очень быстрая так как 10-20 файлов переиндексировать быстро ). А 1000 файлов за 2-3 минут на моей GPU он индесирует "с нуля".
По уму такой инструмент должен работать как фоновый демон с файловым вотчером, пересчитывая эмбеддинги только для измененных файлов на лету, как это делают современные IDE. Запускать обновление руками в 2026 году уже неудобно
Есть же Graphify для этого
Да, Graphify тоже интересный вариант. Но у меня цель немного другая, объединить семантический поиск по embeddings (QMD) и структурный анализ кода через AST и граф зависимостей (GitNexus). Хочу, чтобы агент сам выбирал подходящий инструмент в зависимости от задачи и минимизировал расход токенов. Graphify тоже можно добавить в сравнение, но в нем нет семантического поиска совсем.
Граф хорош, когда ты уже знаешь точку входа или имя класса и хочешь проследить цепочку вызовов
Когда же в ТЗ написано поменять логику биллинга и ты вообще не знаешь, как названы файлы в старом проекте, граф тебе слабо поможет
codebase memory mcp
QMD использует три локальные модели: embeddings, расширение запросов и LLM reranking. Codebase Memory использует встроенную nomic-embed-code и комбинирует векторную близость с признаками AST, графа и типов. Это потенциально удобнее для поиска функций, но не доказывает, что его поиск точнее QMD. Предполагаю что: Codebase Memory может оказаться выгоднее двух отдельных инструментов, особенно на больших репозиториях. Но QMD способен выиграть по качеству первоначального семантического поиска благодаря LLM reranking. Вобщем тестировать нада ) Что лучше )
Замер экономии на двух прогонах, где в одном -40% а в другом -1% пока больше похож на обычный шум кэширования промптов и случайность траектории агента, рановато делать выводы без серии из хотя бы 20 одинаковых задач
Хватит жечь токены на поиск файлов: как QMD помогает кодинг-агентам экономить до 40%