Да, исходной расчет был шуточный, но у меня тоже есть инфа со своего экспериментального проекта (соло разраб), который писался агентами (но еще не роем) - несколько сессий claude opus в отдельных терминалах.
Результаты на скрине, порядок почти совпадает с вашим.
Однако недавно я перешел на другую методику - сильная модель (fable) является оркестратором для пула из более слабых моделей что позволила существенно уменьшить задержки human in the loop.
Не могу снять похожую статистику, пул теперь почти всегда голодает, но примерное ускорение еще x5-x10
Ни в коем случае не выпад. Суть иронии в том что апокриф который превозносит знание человеческое, мог быть сгенерирован машиной.
В целом согласен что глупо искать признаки LMM в тире, эмодзи и прочем. Да и в целом отношение к слопу в стиле "не читал но осуждаю" так же не сильно разумный подход.
Неужели кто то еще сомневается, что нейронка не сможет заменить программиста, вся работа которого это поток байтов?
Вот сегодняшняя новость:
Стартап NeoCognition разработал первый сквозной бенчмарк использования компьютера, непрерывного обучения и долгосрочной агентной работы на реальной должности.
Fable 5.1 выполнила 72% задач, а GPT-6 Astra - 68%.
Лучший из двух тестировщиков-людей показал 51%, причём проваливались люди на поиске нужного в исторических данных, точности расчётов и мелких ошибках от утомления
---
Никто не вайбкодит "без понимания" того что ему нужно. Возможно он не понимает то как работает его творение. Но нужно ли это понимание, если оно работает правильно? И считаем ли мы, что нейронки всегда будет генерировать кривой, небезопасный, забагованный код, как это подчастую делают люди?
Ну, "всегда" - это сильное утверждение. Мы переживаем краткий момент когда можем еще что то понять и улучшить в том что генерирует LLM.
У меня желание (вайб)кодить пропадает не потому что нейронка что то делает плохо, а потому что через год она будет делать это лучше чем я. В том числе ставить задачи.
Я тоже сначала использовал claude session-to-session communication, но т.к. лимита MAX 20x регулярно не хватает, пришлось подключить GLM как альтернативу, а в ней это API не работает.
Так что сделал надстройку, которая использует для этого недокументированное API claude code и работает с любой моделью.
Вместо "файлов памяти" на FS использую тикеты в трекере который работают как RAG (агент отлично им управляет - ищет дубли, перелинковывает, создает задачи, трекает прогресс)
Самое главное - управлять роем должен не человек а агент, человек принимает только ключевые решения (утверждает или изменяет предложенную агентом реализацию фичи/фикс бага).
Вот мой скилл мастер агента. По моему опыту, решения которые предлагает fable удовлетворительны в 80-90% случаев.
У меня на последнем (экспериментальном) проекте выстроен классический цикл разработки:
CD (трекер задач) TDD (строгая test-driven разработка), CI (сборка и прогон тестов), деплой, smoke тесты, анализ телеметрии - все это экспонировано в утилиты командной строки доступные агенту (MCP сервера мне не нравятся т.к. их неудобно юзать человеку).
Управляет всем агент (мастер), у которого в подчинении пул других агентов (папетов) с которыми он обменивается сообщениями через MCP (его я накостылял)
Роль человека в этом.. Боюсь это говорить, но практика показала что для фронтир моделей человек по больше части не нужен вообще.
/loop 1h изучи логи и заведи баги /loop 1h разай задачи /goal пустой трекер
Ну а касательно вопросов:
> Пытаетесь ли вы менять архитектуру проектов специально под ИИ-агентов?
Архитектура по большей части это свойство проекта а не процесса разработки, главное что бы она была с ним совместима (например, была тестируемой)
> Как дела с многопоточностью, когда используете много агентов одновременно?
Я пришел к тому что интеграция в главную ветку централизована, все остальное делается асинхронно. Агенты прекрасно находят общий язык.
> Нужна ли вообще строгая файловая типизация или это путь к архитектурной бюрократии?
Строить универсальную онтологию гиблое дело, но формализовать ее для конкретного проекта это всегда благо
> И где, на ваш взгляд, проходит граница между разработчиком и оператором ИИ-системы?
On a long enough time line, the survival rate for everyone drops to zero.
Так эту теорему еще 10 лет назад Хоофт доказал (см его cogwheels) но в итоге уперся в проблему с нижней границей гамильтониана которую, к слову, так и не решил. A тут ее просто проскочили.
А Вольфрам и не утверждал, что его постулат относится к линейным системам, у него совершенно другая онтология.
Да, исходной расчет был шуточный, но у меня тоже есть инфа со своего экспериментального проекта (соло разраб), который писался агентами (но еще не роем) - несколько сессий claude opus в отдельных терминалах.
Результаты на скрине, порядок почти совпадает с вашим.
Однако недавно я перешел на другую методику - сильная модель (fable) является оркестратором для пула из более слабых моделей что позволила существенно уменьшить задержки human in the loop.
Не могу снять похожую статистику, пул теперь почти всегда голодает, но примерное ускорение еще x5-x10
Неверно выразился — из за длинного тире мне показалось что текст апокрифа был скопирован из вывода LLM (про Типограф не знал, каюсь, но (С) вместо © намекает что им не пользовались)
Ни в коем случае не выпад. Суть иронии в том что апокриф который превозносит знание человеческое, мог быть сгенерирован машиной.
В целом согласен что глупо искать признаки LMM в тире, эмодзи и прочем. Да и в целом отношение к слопу в стиле "не читал но осуждаю" так же не сильно разумный подход.
Боюсь, что движется все как раз в противоположную сторону:
За 10 минут простукивания - 9 фунтов
Спросить у Клода куда стукнуть - бесплатно.
PS: иронично, что вы забыли убрать длинные тире
Это любопытный мысленный эксперимент, какая конкурентная стоимость токена.
Посчитаем стоимость 1M output токенов кожанного программиста грейда сеньер
Зарплата 350000 руб, с учетом страховых внзосов и налогов (~30%) стоимость часа работодателю обходится примерно в 3000 рублей
Теоретический предел - непрерывная печать в течении часа: 250 символов/мин × 60 = 15 000 символов/час; при 3,5 символа на токен - 4290 токенов
Цена за 1M токенов: (3000 / 4290) * 10^6 = 699300 рублей...
Для сравнения цена 1M токенов Fable сейчас примерно 4500 рублей.
Экономика вряд ли нас спасет.
Неужели кто то еще сомневается, что нейронка не сможет заменить программиста, вся работа которого это поток байтов?
Вот сегодняшняя новость:
Стартап NeoCognition разработал первый сквозной бенчмарк использования компьютера, непрерывного обучения и долгосрочной агентной работы на реальной должности.
Fable 5.1 выполнила 72% задач, а GPT-6 Astra - 68%.
Лучший из двух тестировщиков-людей показал 51%, причём проваливались люди на поиске нужного в исторических данных, точности расчётов и мелких ошибках от утомления
---
Никто не вайбкодит "без понимания" того что ему нужно. Возможно он не понимает то как работает его творение. Но нужно ли это понимание, если оно работает правильно? И считаем ли мы, что нейронки всегда будет генерировать кривой, небезопасный, забагованный код, как это подчастую делают люди?
Ну, "всегда" - это сильное утверждение. Мы переживаем краткий момент когда можем еще что то понять и улучшить в том что генерирует LLM.
У меня желание (вайб)кодить пропадает не потому что нейронка что то делает плохо, а потому что через год она будет делать это лучше чем я. В том числе ставить задачи.
Я тоже сначала использовал claude session-to-session communication, но т.к. лимита MAX 20x регулярно не хватает, пришлось подключить GLM как альтернативу, а в ней это API не работает.
Так что сделал надстройку, которая использует для этого недокументированное API claude code и работает с любой моделью.
Вместо "файлов памяти" на FS использую тикеты в трекере который работают как RAG (агент отлично им управляет - ищет дубли, перелинковывает, создает задачи, трекает прогресс)
Самое главное - управлять роем должен не человек а агент, человек принимает только ключевые решения (утверждает или изменяет предложенную агентом реализацию фичи/фикс бага).
Вот мой скилл мастер агента. По моему опыту, решения которые предлагает fable удовлетворительны в 80-90% случаев.
У меня на последнем (экспериментальном) проекте выстроен классический цикл разработки:
CD (трекер задач) TDD (строгая test-driven разработка), CI (сборка и прогон тестов), деплой, smoke тесты, анализ телеметрии - все это экспонировано в утилиты командной строки доступные агенту (MCP сервера мне не нравятся т.к. их неудобно юзать человеку).
Управляет всем агент (мастер), у которого в подчинении пул других агентов (папетов) с которыми он обменивается сообщениями через MCP (его я накостылял)
Роль человека в этом.. Боюсь это говорить, но практика показала что для фронтир моделей человек по больше части не нужен вообще.
/loop 1h изучи логи и заведи баги
/loop 1h разай задачи
/goal пустой трекер
Ну а касательно вопросов:
> Пытаетесь ли вы менять архитектуру проектов специально под ИИ-агентов?
Архитектура по большей части это свойство проекта а не процесса разработки, главное что бы она была с ним совместима (например, была тестируемой)
> Как дела с многопоточностью, когда используете много агентов одновременно?
Я пришел к тому что интеграция в главную ветку централизована, все остальное делается асинхронно. Агенты прекрасно находят общий язык.
> Нужна ли вообще строгая файловая типизация или это путь к архитектурной бюрократии?
Строить универсальную онтологию гиблое дело, но формализовать ее для конкретного проекта это всегда благо
> И где, на ваш взгляд, проходит граница между разработчиком и оператором ИИ-системы?
On a long enough time line, the survival rate for everyone drops to zero.
Так эту теорему еще 10 лет назад Хоофт доказал (см его cogwheels) но в итоге уперся в проблему с нижней границей гамильтониана которую, к слову, так и не решил. A тут ее просто проскочили.
А Вольфрам и не утверждал, что его постулат относится к линейным системам, у него совершенно другая онтология.