Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 13
Вы отдельно оговорили, почему два живых прогона нельзя сравнивать напрямую. Для следующего замера я бы взял одну фиксированную задачу, одинаковые модели, начальный контекст и критерии приёмки, а менял только способ ожидания. Рядом с токенами стоит показать пробуждения ведущего, ложные P0, потерянные или повторные сообщения и время до принятого результата. Тогда будет видно, какую часть экономии дал именно тик, а какую — другой состав команды или меньший контекст.
вернусь в коменты с цифрами - вы правы, тут не хватает этих цифр
Я сделал замер по вашей схеме, но задача оказалась простой: две независимые правки в двух файлах. На ней качество у всех вариантов вышло одинаковым, а одиночная сессия получилась заметно быстрее и дешевле. Плагин и командный режим я запускаю только для сложных задач, а на простой команда всегда проиграет одиночной модели: она платит накладными расходами за то, что ей не нужно. Поэтому вывод пока такой: на простых задачах брать одиночную сессию, а про сложные честных данных у меня ещё нет.
Сейчас запускаю ту же серию (с тиком, без тика, без плагина, со слепой проверкой) на большой связанной задаче, где у одиночной сессии есть шанс промахнуться. Принесу цифры, как только прогон закончится.
Результат на простой задаче тоже стоит сохранить как полноценный исход, а не только как разогрев перед большой. Для следующей серии я бы заранее зафиксировал несколько задач с разной связанностью изменений и критерии приёмки, до просмотра результатов одиночной сессии. Тогда можно будет искать границу, где координация начинает окупаться, включая случаи, когда команда снова проиграет. А задачу, на которой подбирали настройки тика, оставить отдельно от итоговой проверки.
Вот это велосипедостроение… я думал я заморочено собрал, а тут такая когнитивная нагрузка, что можно кукухой поехать просто. Снимаю обе шляпы
мы постоянно делаем какие то велосипеды - то для себя - то для работы)
Согласен. Заморочено получилось.
У меня просто канбан в обсидиан, и агенты просматривают и подхватывают свои задачи.
Пример доски с хакатона.
И такие на каждом проекте. Методика взята отсюда https://tutor.diworld.pro/ с добавлением ролей
И нет зависимости от вендора и настроек его приложения. Хочешь claude code, хочешь DS harness или что угодно используй, работает сразу без доп настроек
А у вас какой воркфлоу? Поделитесь?
Я бы проверял такой процесс на передаче задачи между агентами: один завершил работу, другой должен её принять, но первый повторил запись или пропустил обновление статуса. По доске должно быть понятно, какая версия результата актуальна, кто её проверяет и что считается завершением. Как у вас устроена эта передача в Obsidian?
Согласен. Но тут вы сами решаете, когда и кем проверять, когда принимать. Ниже пример, где прошу архитектора передать ТЗ задачи на реализацию разработчику. Аритектор обращает внимание, что есть пересекующиеся задачи и пишет как разруливает этот момент. ТЗ здесь не огромное задание на весь проект, а небольшое техническое описание задачи, что и как надо сделать.
Как у вас устроена эта передача в Obsidian
просто md файл и плагин канбана, который этот файл отображает как доску. На гите все шаблоны открыты https://github.com/DmitryMok/ai-tutor
хороший курс! у меня доска с задачами в https://ru.yougile.com/ там несколько агентов подключены через MCP - идеи агент аналитик доводит до задач на доске - далее в порядке приоритетов я отдаю агентам разработчикам они берут задачки и двигают их по доске - я пока не отпустил от своего контроля весь процесс и мне интересно контролировать его - так что финальные приемки все равно за мной
Много токенов потребляет MCP yougile?
Yougile уже будто про коллективную разработку. Процесс с obsidian больше про повышение личной эффективности в работе. И да, контроль тоже не отпустил и не планирую, т.к. интересно контролировать и прокачиваться, участвуя в выборе ключевых решений. Когнитивная нагрузка выросла конечно колоссально, из-за того что темп с агентами гораздо больше.
А не пробовали для экономии токенов делегировать простые задачи более простым или локальный моделям. Например, если задача не срочная и железо под рукой условно 12gb vram + 64gb ram то часть задач можно скинуть на локальный qwen, к примеру.
По факту хз сэкономит ли вообще это токены, но чисто теоретически наверное возможно.
Так же есть доступ к gemeni - тоже не плохо было бы подрубить для промежуточных задач. А claude уже как главный тимлид раздает задачи и проверяет результат. Даже если это позволит экономить 50% токенов, то уже будет очень отлично.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Экономим токены Claude Code с помощью принципов Event Loop