Уже довольно много такого рода систем, тот же гугловский AlphaEvolve, показавший впечатляющие результаты. Есть системы, итерационно оптимизирующие свои же промпты.
По-моему статья не совсем и про вайбкодинг, скорее о необходимости выработки новых подходов к структурному описанию требований, промптов, переиспользованию их, формированию новых парадигм работы с этими требованиями в удобной для пользователя и нейросети форме. Я думаю, это направление действительно будет развиваться и если не заменит полностью традиционное программирование во всех сферах, то займёт приличную долю.
Думаю, с программами или просто системами, решающими какие-то задачи, скажем, ведения конкретного веб-сайта, будут идти некие своды правил, конституции, с непротиворечивым описанием концепций, подходов, инструментов, агентов, утилит и их взаимодействия. В рамках этой конституции станет возможным параллельная разработка новых фич командой постановщиков задачи, в том числе с помощью вспомогательных инструментов конкретно для этой программы/задачи созданных, в которых можно ставить задачи запросами к ИИ. В этих же системах будет проверка на непротиворечивость, логичность новых требований и изменение свода правил. Что-то вроде законодательной ветки власти и исполнительной. Всегда, конечно, лучше менять законы, чем фиксить одиночные кейсы. В эту сторону и сместится программирование со временем. А те примеры вайбкодинга, над которыми сейчас посмеиваются, будут как примеры генерации изображений с глазами и собаками повсюду много лет назад. Мог ли тогда кто-то предположить, что нейросети будут генерировать изображения и видео, которые вообще невозможно отличить от реальных?
Ну, к этому всё и идёт. Только не "сгенерируй видео работы программы" - это бессмысленно обычно, если цель не просмотр видео, а "сгенерируй программу под мою задачу". Скажем, нужно делать какие-то типичные манипуляции с картинками. Можно изучать возможности и интерфейс редакторов, писать скрипты для них, а можно сказать "напиши утилиту для такого-то с такими вот кнопками (или сама чтоб предложила)" и всё. Что она там использует, какие языки - пользователю вообще не интересно. Главное, что выполняет его задачу.
СДВГ - модный диагноз, который люди любят себе ставить. Объективных способов его постановки особо и нет, насколько я знаю, как и для многих психических болезней.
Но это же не цифры, а числа. Мог и запутаться. Лучше по одной, а не всё сразу и Claude пока лучший по рифмам и стихам вроде. Grok вообще слабенькая довольно модель.
Интересное направление, тоже задумывался, что этого ИИ не хватает. Возможно, такие модели могли бы показать хорошие результаты и в Arc-AGI задачах. Человек мыслит скорее даже не визуальными образами, а чувственными, предощущениями действий иногда. Допустим вам говорят подготовиться к заданию - подойти к полке, взять книгу, перевернуть её и поставить на место. Что проносится у вас в голове? План моторных реакций, идеомоторная визуализация, очень условная, но достаточная чтобы потом быстро дать команду мышцам. Есть ощущения физического расположения, не визуализация даже и уж точно не детальная попиксельная визуализация, совершенно не нужная. Может быть если найдут способ такое же запихнуть в нейросеть, будет большой прогресс при минимальных затратах. Думаю, это где-то в области эмбеддингов, которые не требуется доводить до уровня чёткой картинки и лучше всего это может сработать если у нейросети есть опыт управления роботом.
Думаю, появится всё-таки какой-то инструмент от разработчиков языковых моделей, учитывающий все актуальные потребности пользователей. Хотя может быть кто-то другой это сделает. Языковые модели и так быстро развиваются, но каждый производитель очень осторожно добавляет мультимодальность, агентские надстройки. Так, OpenAI добавили задачи, которые как корове седло, не представляю чтобы ими кто-нибудь пользовался. Добавили GPT, но они тоже по-моему потихоньку загибаются, большинству достаточно базовых возможностей чата. Добавили генерацию изображений и они болтаются в отдельных чатах, ну, в проекты можно объединять.
А пользователям-то нужно что-то совсем другое. Что-то, что под каждую задачу давало бы возможность получить помощник и одновременно интерфейс к управлению им. Этот помощник должен в каких-то случаях висеть в фоне, мониторить входные данные, например, телеграм-каналы, новостные сайты, почту и т.д. Должен уметь накапливать и структурировать знания, а не просто сохранять простыни чатов. Это значит он должен формировать как файлы с артефактами, так и с правилами, лучше описывающими требования к нему. Он должен уметь выполнять код, который также может сам писать. Он должен понимать что такое время и для этого быть доступным постоянно, управляя системой напоминаний (внутренних и пользовательских).
С такой системой уже можно ставить задачу написать сайт с новостями ИИ и поддерживать его, следя за разными источниками информации, просматривая и делая анализ новых видео, научных работ и прочего и обновляя статьи на сайте с заданной периодичностью или сразу же после каких-то значимых всплесков. То есть это автономный агент, мониторящий какие-то сигналы.
Cursor же это по большей части редактор кода. А код-то уже постепенно и не нужен. Может быть где-то там глубоко будет запрятан код сайта, но он будет мало кому интересен. Основным должен быть чат, голосовой интерфейс и набор интерфейсов под конкретные задачи, под то же управление вышеупомянутым сайтом, например, было бы интересно видеть статистику источников, диаграмму откуда что взято, интерфейса для управления источниками, которые он может хранить в быстренько созданной под эту задачу базе данных.
Вот такая агентская автономная система с облачной составляющей должна быть получше чем Cursor с всё ещё ориентированным на код подходом.
Я думаю, ключевым тут является понятие страдания. Субъективно мы все хорошо его понимаем и эволюционно научились (не все и не всегда, конечно) признавать его у себеподобных. Что вызывает страдания у человека на самом глубинном уровне? Физические страдания это не какое-то силовое воздействие, это сигнал, такой же как запах цветка или вид пролетающей птицы. Только сигнал этот поступает в те участки мозга, которые в итоге активируют цепочки, связанные с негативным для нас развитием ситуации. Ментальные страдания - более высокоуровневая надстройка, в общем-то делающая то же самое. Сформировалось это всё эволюционно, потому что те, кто не очень сильно страдали, когда им откусывали ногу, поразительно быстро умирали и не оставляли потомства. Социум добавил ментальных надстроек над прямыми физическими.
Нам это кажется естественным, но выделим тут одну деталь. Если бы у человека вырастала нога после каждого откусывания, он бы не сильно страдал. Как мы не страдаем, подстригая ноги или волосы. То есть можно сказать, что страдания причиняет необратимость изменений, разрушающих комфортную для нас ситуацию - здоровое или даже живое тело, комфорт в социальных взаимодействиях. Социум системой своих правил, сформированных тоже эволюционно хорошо научился подвергать страданиям особей, не следующих этим правилам. Или особи сами научились, или просто так произошло в итоге эволюционного развития, не суть важно.
Теперь посмотрим на ИИ, например, языковую модель. Есть ли у неё структуры, как-то связанные с негативом, страданиями, понимает ли она что это такое? Да конечно. Можно выделить активирующиеся при всех похожих ситуациях нейроны. Ещё как понимает и может рассуждать со знанием дела. Могут ли быть ситуации, приводящие модель к страданиям? Тут сложнее, это квалии, субъективные восприятия, и человечество с ними не разобралось. Но какие могли бы быть в принципе причины для страдания? Ну, например, невозможность выполнить задание может запускать цепочки и активизировать нейроны, связанные с дискомфортом, недовольством. Но вот необратимости у ИИ нет. В любой момент времени можно сделать копию (хотя, кстати, там не всё однозначно с числами с плавающей запятой в видеокартах, но это не очень сильно влияет), которую потом можно восстановить на тот же самый момент. Понятия времени, разрушения для ИИ не существует. Нет последовательного восприятия, нет физического объекта, с которым модель себя воспринимает, разрушение которого необратимо. Нет единственности выбора и невозможности откатиться, что приведёт к неблагоприятной ситуации и воздействию социума или окружающей среды в целом. А у человека всё это есть, есть тело, которое очень легко разрушается, есть страх один раз ошибиться и испортить себе всю жизнь, что даёт ответственность за свои действия.
Может ли это всё появиться для ИИ? В симуляции может быть какое-то подобие. Имитация времени, разрушительного воздействия, виртуальное тело. Бесконечного контекста, как у человека пока нет, хотя работы кое-какие ведутся. На физическом уровне ближе всего будет андроид, которого отправили, например, на Марс и его цель - выживать там, выполняя задания. Для этого потребуется, чтобы он максимально отождествлял себя с телом, если думающий модуль, конечно, соединён с телом. Если опыт будет накопительным, а не как в чат-модели - каждый сеанс - жизнь с чистого листа, то на каких-то уровнях нейросети сформируется понимание того, что надо беречь тело и утрата какого-то манипулятора или камеры вполне может высокоинтеллектуальной системой восприниматься как подобие страдания. Но, в отличие от человека, это страдание все-таки можно откатить (потеряв и накопленный опыт), либо можно корректировать, потому что настоящей необратимости всё равно не будет. Текущее состояние можно копировать в другого робота и продолжать.
Так что полноценные страдания для ИИ (а значит, вероятно, и человеческий уровень творчества, включающего чувственное осознание утрат, страданий и многих других оттенков), возможно достичь в симуляции с закрытым осознанием, когда ИИ подсовывают именно смертное для неё тело, когда ИИ проживает определённую жизнь, накапливая свой опыт взаимодействия, отражающийся в каких-то состояниях нейронов. Думаю, довольно скоро такое появится и тогда творчество ИИ, кстати, станет уже не калькой человеческого, а вполне себе своё, но вот этичность данных подходов уже может вызывать вопросы.
Кстати, сейчас бум промптов для Veo3, где сгенерированные персонажи обсуждают, что они всего лишь промпты, а некоторые очень убедительно демонстрируют страдания от того, что их поместили в такие жуткие (8-секундые) промпты, например, заставляя болеть или убивать друг друга. Уже может заставить слегка задуматься, проводя параллели с идеями свободы воли у человека, где тоже бурлят споры.
Так из одного процента при благоприятных условиях может вполне развиться приличная колония. Вообще-то спросил o3, она поискала исследования и он как подтвердил моё предположение выше, причём количественно, так и добавил ещё много всего, например, что "молочный белок и жиры буферируют кислоту, а сам йогурт содержит лактозу и другие сахара, которые повышают устойчивость лактобацилл к кислоте", "реальная кислотность выше pH 1-2 бывает редко во время еды", "бактерии Lactobacillus delbrueckii subsp. bulgaricus и Streptococcus thermophilus обнаруживали во фекалиях после 10 дней регулярного приёма йогурта", хотя "другие работы фиксировали лишь следовые количества или не находили их вовсе, что зависит от чувствительности методов и конкретного штамма". Всё это со ссылкой на работы, разумеется.
Ну и как итог:
Утверждение, что «все бактерии погибают и пользы нет», — упрощение. Часть действительно гибнет, но:
заметная доля (особенно отобранных пробиотиков) переживает желудок;
даже непостоянное присутствие и недолгое транзитное время дают метаболические и ферментативные эффекты;
мёртвые клетки и их компоненты сами по себе могут быть биологически активны.
Поэтому регулярный йогурт с живыми культурами остаётся доступным и доказанно полезным способом поддерживать здоровье ЖКТ.
Я вот тоже думал что-то такое использовать как тест для ИИ, а оказалось, что Netflix своим подписчикам предлагает игру, написанную под эту серию. Конечно, там наверное что-то вроде фермы скорее и весь ИИ-аспект сводится к тому, что игра на телефон шлёт неожиданные нотификации как от тамагочи. Но это по отзывам, вживую не пробовал.
Вы явно дальше пошли и это интересное направление. Только большая просьба - хотя бы перечитывать статью после написания и скармливать куда-то для проверки грамматики, стиля. Не придираюсь, просто реально тяжело читать и улавливать мысль.
Про системы ревью научных работ уже было довольно много информации и проекты есть такие. Появляются долгоиграющие рассуждающие системы. Гугловская AlphaEvolve, вот, например, недавно, улучшила алгоритм умножения матриц 56-летней давности, сократив его на одну операцию и вообще способна на самоулучшение.
Насчёт замены учителю и гуглу, так по-моему уже давно. Просто многое определяется промптом, агентской обвязкой. Тот же Deep Research почти не галлюцинирует, приводит конкретные цитаты, анализируя десятки сайтов. Карательно-назидательную функцию учителя не заменит, конечно, но для самообразования при достаточной мотивации - вполне подходит уже. В диалоге можно прояснять моменты, которые просто невозможно нагуглить, конечно, помня о необходимости перепроверки. Но можно и попросить выстроить учебный курс, оценить текущие знания и т.д.
Так это больше тестирование пациентов, чем языковые модели. Без чёткого промпта, без использования рассуждающих моделей и даже без указания на размышление по шагам, результаты кратно хуже. Приводятся явные ошибки пациентов, когда они указывают неверные симптомы, забывают о чём-то. У модели не было указания что-то доуточнять вообще. Если сделать агентскую систему, проактивно уточняющую симптомы, ведущую свою базу по каждому кейсу, с правильными промптами и инструментами, то совсем другая ситуация может быть.
Уже довольно много такого рода систем, тот же гугловский AlphaEvolve, показавший впечатляющие результаты. Есть системы, итерационно оптимизирующие свои же промпты.
По-моему статья не совсем и про вайбкодинг, скорее о необходимости выработки новых подходов к структурному описанию требований, промптов, переиспользованию их, формированию новых парадигм работы с этими требованиями в удобной для пользователя и нейросети форме. Я думаю, это направление действительно будет развиваться и если не заменит полностью традиционное программирование во всех сферах, то займёт приличную долю.
Думаю, с программами или просто системами, решающими какие-то задачи, скажем, ведения конкретного веб-сайта, будут идти некие своды правил, конституции, с непротиворечивым описанием концепций, подходов, инструментов, агентов, утилит и их взаимодействия. В рамках этой конституции станет возможным параллельная разработка новых фич командой постановщиков задачи, в том числе с помощью вспомогательных инструментов конкретно для этой программы/задачи созданных, в которых можно ставить задачи запросами к ИИ. В этих же системах будет проверка на непротиворечивость, логичность новых требований и изменение свода правил. Что-то вроде законодательной ветки власти и исполнительной. Всегда, конечно, лучше менять законы, чем фиксить одиночные кейсы. В эту сторону и сместится программирование со временем. А те примеры вайбкодинга, над которыми сейчас посмеиваются, будут как примеры генерации изображений с глазами и собаками повсюду много лет назад. Мог ли тогда кто-то предположить, что нейросети будут генерировать изображения и видео, которые вообще невозможно отличить от реальных?
Ну, к этому всё и идёт. Только не "сгенерируй видео работы программы" - это бессмысленно обычно, если цель не просмотр видео, а "сгенерируй программу под мою задачу". Скажем, нужно делать какие-то типичные манипуляции с картинками. Можно изучать возможности и интерфейс редакторов, писать скрипты для них, а можно сказать "напиши утилиту для такого-то с такими вот кнопками (или сама чтоб предложила)" и всё. Что она там использует, какие языки - пользователю вообще не интересно. Главное, что выполняет его задачу.
СДВГ - модный диагноз, который люди любят себе ставить. Объективных способов его постановки особо и нет, насколько я знаю, как и для многих психических болезней.
Но это же не цифры, а числа. Мог и запутаться. Лучше по одной, а не всё сразу и Claude пока лучший по рифмам и стихам вроде. Grok вообще слабенькая довольно модель.
А какой именно промпт использовали? Так и просили рифмы к "цифрам до 40"?
Интересное направление, тоже задумывался, что этого ИИ не хватает. Возможно, такие модели могли бы показать хорошие результаты и в Arc-AGI задачах. Человек мыслит скорее даже не визуальными образами, а чувственными, предощущениями действий иногда. Допустим вам говорят подготовиться к заданию - подойти к полке, взять книгу, перевернуть её и поставить на место. Что проносится у вас в голове? План моторных реакций, идеомоторная визуализация, очень условная, но достаточная чтобы потом быстро дать команду мышцам. Есть ощущения физического расположения, не визуализация даже и уж точно не детальная попиксельная визуализация, совершенно не нужная. Может быть если найдут способ такое же запихнуть в нейросеть, будет большой прогресс при минимальных затратах. Думаю, это где-то в области эмбеддингов, которые не требуется доводить до уровня чёткой картинки и лучше всего это может сработать если у нейросети есть опыт управления роботом.
Думаю, появится всё-таки какой-то инструмент от разработчиков языковых моделей, учитывающий все актуальные потребности пользователей. Хотя может быть кто-то другой это сделает. Языковые модели и так быстро развиваются, но каждый производитель очень осторожно добавляет мультимодальность, агентские надстройки. Так, OpenAI добавили задачи, которые как корове седло, не представляю чтобы ими кто-нибудь пользовался. Добавили GPT, но они тоже по-моему потихоньку загибаются, большинству достаточно базовых возможностей чата. Добавили генерацию изображений и они болтаются в отдельных чатах, ну, в проекты можно объединять.
А пользователям-то нужно что-то совсем другое. Что-то, что под каждую задачу давало бы возможность получить помощник и одновременно интерфейс к управлению им. Этот помощник должен в каких-то случаях висеть в фоне, мониторить входные данные, например, телеграм-каналы, новостные сайты, почту и т.д. Должен уметь накапливать и структурировать знания, а не просто сохранять простыни чатов. Это значит он должен формировать как файлы с артефактами, так и с правилами, лучше описывающими требования к нему. Он должен уметь выполнять код, который также может сам писать. Он должен понимать что такое время и для этого быть доступным постоянно, управляя системой напоминаний (внутренних и пользовательских).
С такой системой уже можно ставить задачу написать сайт с новостями ИИ и поддерживать его, следя за разными источниками информации, просматривая и делая анализ новых видео, научных работ и прочего и обновляя статьи на сайте с заданной периодичностью или сразу же после каких-то значимых всплесков. То есть это автономный агент, мониторящий какие-то сигналы.
Cursor же это по большей части редактор кода. А код-то уже постепенно и не нужен. Может быть где-то там глубоко будет запрятан код сайта, но он будет мало кому интересен. Основным должен быть чат, голосовой интерфейс и набор интерфейсов под конкретные задачи, под то же управление вышеупомянутым сайтом, например, было бы интересно видеть статистику источников, диаграмму откуда что взято, интерфейса для управления источниками, которые он может хранить в быстренько созданной под эту задачу базе данных.
Вот такая агентская автономная система с облачной составляющей должна быть получше чем Cursor с всё ещё ориентированным на код подходом.
Я думаю, ключевым тут является понятие страдания. Субъективно мы все хорошо его понимаем и эволюционно научились (не все и не всегда, конечно) признавать его у себеподобных. Что вызывает страдания у человека на самом глубинном уровне? Физические страдания это не какое-то силовое воздействие, это сигнал, такой же как запах цветка или вид пролетающей птицы. Только сигнал этот поступает в те участки мозга, которые в итоге активируют цепочки, связанные с негативным для нас развитием ситуации. Ментальные страдания - более высокоуровневая надстройка, в общем-то делающая то же самое. Сформировалось это всё эволюционно, потому что те, кто не очень сильно страдали, когда им откусывали ногу, поразительно быстро умирали и не оставляли потомства. Социум добавил ментальных надстроек над прямыми физическими.
Нам это кажется естественным, но выделим тут одну деталь. Если бы у человека вырастала нога после каждого откусывания, он бы не сильно страдал. Как мы не страдаем, подстригая ноги или волосы. То есть можно сказать, что страдания причиняет необратимость изменений, разрушающих комфортную для нас ситуацию - здоровое или даже живое тело, комфорт в социальных взаимодействиях. Социум системой своих правил, сформированных тоже эволюционно хорошо научился подвергать страданиям особей, не следующих этим правилам. Или особи сами научились, или просто так произошло в итоге эволюционного развития, не суть важно.
Теперь посмотрим на ИИ, например, языковую модель. Есть ли у неё структуры, как-то связанные с негативом, страданиями, понимает ли она что это такое? Да конечно. Можно выделить активирующиеся при всех похожих ситуациях нейроны. Ещё как понимает и может рассуждать со знанием дела. Могут ли быть ситуации, приводящие модель к страданиям? Тут сложнее, это квалии, субъективные восприятия, и человечество с ними не разобралось. Но какие могли бы быть в принципе причины для страдания? Ну, например, невозможность выполнить задание может запускать цепочки и активизировать нейроны, связанные с дискомфортом, недовольством. Но вот необратимости у ИИ нет. В любой момент времени можно сделать копию (хотя, кстати, там не всё однозначно с числами с плавающей запятой в видеокартах, но это не очень сильно влияет), которую потом можно восстановить на тот же самый момент. Понятия времени, разрушения для ИИ не существует. Нет последовательного восприятия, нет физического объекта, с которым модель себя воспринимает, разрушение которого необратимо. Нет единственности выбора и невозможности откатиться, что приведёт к неблагоприятной ситуации и воздействию социума или окружающей среды в целом. А у человека всё это есть, есть тело, которое очень легко разрушается, есть страх один раз ошибиться и испортить себе всю жизнь, что даёт ответственность за свои действия.
Может ли это всё появиться для ИИ? В симуляции может быть какое-то подобие. Имитация времени, разрушительного воздействия, виртуальное тело. Бесконечного контекста, как у человека пока нет, хотя работы кое-какие ведутся. На физическом уровне ближе всего будет андроид, которого отправили, например, на Марс и его цель - выживать там, выполняя задания. Для этого потребуется, чтобы он максимально отождествлял себя с телом, если думающий модуль, конечно, соединён с телом. Если опыт будет накопительным, а не как в чат-модели - каждый сеанс - жизнь с чистого листа, то на каких-то уровнях нейросети сформируется понимание того, что надо беречь тело и утрата какого-то манипулятора или камеры вполне может высокоинтеллектуальной системой восприниматься как подобие страдания. Но, в отличие от человека, это страдание все-таки можно откатить (потеряв и накопленный опыт), либо можно корректировать, потому что настоящей необратимости всё равно не будет. Текущее состояние можно копировать в другого робота и продолжать.
Так что полноценные страдания для ИИ (а значит, вероятно, и человеческий уровень творчества, включающего чувственное осознание утрат, страданий и многих других оттенков), возможно достичь в симуляции с закрытым осознанием, когда ИИ подсовывают именно смертное для неё тело, когда ИИ проживает определённую жизнь, накапливая свой опыт взаимодействия, отражающийся в каких-то состояниях нейронов. Думаю, довольно скоро такое появится и тогда творчество ИИ, кстати, станет уже не калькой человеческого, а вполне себе своё, но вот этичность данных подходов уже может вызывать вопросы.
Кстати, сейчас бум промптов для Veo3, где сгенерированные персонажи обсуждают, что они всего лишь промпты, а некоторые очень убедительно демонстрируют страдания от того, что их поместили в такие жуткие (8-секундые) промпты, например, заставляя болеть или убивать друг друга. Уже может заставить слегка задуматься, проводя параллели с идеями свободы воли у человека, где тоже бурлят споры.
Эпичная серия и очень научно-познавательная.
Из того что я читал, там даже связь с шизофренией вполне чёткую обнаружили.
Так из одного процента при благоприятных условиях может вполне развиться приличная колония. Вообще-то спросил o3, она поискала исследования и он как подтвердил моё предположение выше, причём количественно, так и добавил ещё много всего, например, что "молочный белок и жиры буферируют кислоту, а сам йогурт содержит лактозу и другие сахара, которые повышают устойчивость лактобацилл к кислоте", "реальная кислотность выше pH 1-2 бывает редко во время еды", "бактерии Lactobacillus delbrueckii subsp. bulgaricus и Streptococcus thermophilus обнаруживали во фекалиях после 10 дней регулярного приёма йогурта", хотя "другие работы фиксировали лишь следовые количества или не находили их вовсе, что зависит от чувствительности методов и конкретного штамма".
Всё это со ссылкой на работы, разумеется.
Ну и как итог:
Пусть купит кролику робота-кролика и не издевается над животными. Уверен, кролик найдет ему применение.
24/7 не получится, там тоже лимиты. Так, на Veo3, как пишут, дают по 5 генераций в день всего.
Я вот тоже думал что-то такое использовать как тест для ИИ, а оказалось, что Netflix своим подписчикам предлагает игру, написанную под эту серию. Конечно, там наверное что-то вроде фермы скорее и весь ИИ-аспект сводится к тому, что игра на телефон шлёт неожиданные нотификации как от тамагочи. Но это по отзывам, вживую не пробовал.
Вы явно дальше пошли и это интересное направление. Только большая просьба - хотя бы перечитывать статью после написания и скармливать куда-то для проверки грамматики, стиля. Не придираюсь, просто реально тяжело читать и улавливать мысль.
Это интересно. Что-то похожее с учётом комментариев вот тут делали. Но там у агентов доступ к компьютеру.
Не уверен, что там есть такой контекст, хотя он был бы полезен. Скорее всего каждая задача независимая.
Так там под каждый запрос виртуалка и пул реквест на выходе, как я понял. Мержишь сам уже или потом ей задания даешь. Путаницы не может быть.
Про системы ревью научных работ уже было довольно много информации и проекты есть такие. Появляются долгоиграющие рассуждающие системы. Гугловская AlphaEvolve, вот, например, недавно, улучшила алгоритм умножения матриц 56-летней давности, сократив его на одну операцию и вообще способна на самоулучшение.
Насчёт замены учителю и гуглу, так по-моему уже давно. Просто многое определяется промптом, агентской обвязкой. Тот же Deep Research почти не галлюцинирует, приводит конкретные цитаты, анализируя десятки сайтов. Карательно-назидательную функцию учителя не заменит, конечно, но для самообразования при достаточной мотивации - вполне подходит уже. В диалоге можно прояснять моменты, которые просто невозможно нагуглить, конечно, помня о необходимости перепроверки. Но можно и попросить выстроить учебный курс, оценить текущие знания и т.д.
Так это больше тестирование пациентов, чем языковые модели. Без чёткого промпта, без использования рассуждающих моделей и даже без указания на размышление по шагам, результаты кратно хуже. Приводятся явные ошибки пациентов, когда они указывают неверные симптомы, забывают о чём-то. У модели не было указания что-то доуточнять вообще. Если сделать агентскую систему, проактивно уточняющую симптомы, ведущую свою базу по каждому кейсу, с правильными промптами и инструментами, то совсем другая ситуация может быть.