Где заканчивается самостоятельность ИИ-агента? Я дала ему банковскую карту, телефон, браузер и 200+ MCP: итоги теста

[alexzen]

Тестировал браузерного агента - главная проблема это скорость. Пока он сообразит куда нажать, быстрее и проще все самому сделать.

[dochkinavika]

Да, абсолютно согласна. Когда на сбор корзины через браузер агентом уходит 3-7 минут - самой часто быстрее. И это еще и недешево: по вычислениям заметно дороже выполнения той же задачи через API/MCP.

Мы с самого начала понимали, что браузерный агент это костыль. Сделали его именно для тех случаев, где нет подходящего API/MCP, а задачу довести до конца хочется. Но по итогам тестов оказалось, что даже в этой роли он подходит далеко не для всего: после оптимизации все равно остаются задержки, ошибки, блокировки сайтов, и очень сомнительный клиентский путь. Будем от него отказываться, по мере развития рынка открытых апи/мср

[KagorBtc]

Harness, tools и MCP -> что лучше для агента: разрабатывать свои МСП сервера и тулсы или брать готовые у провайдеров?

[Lizdroz]

Свои сервера дают полный контроль над валидацией входных схем и типами данных. Публичные интеграции часто перегружены лишними полями, которые забивают контекст модели ненужным мусором

Начните со стандартных протоколов для типовых задач вроде чтения файлов или почты. Как только логика упирается в транзакции, оплату или работу с базой, пишите собственный минимальный адаптер, там жизненно необходима обработка сетевых таймаутов и повторных запросов

[gumerovbr]

Пользуюсь Никой как ЗОЖ-ассистентом — трекинг еды и тренировок плюс заказ продуктов во ВкусВилле. 

[cordova07]

А зачем было звонить в ресторан? Разве не понятно что ИИ голос сразу распознается и никто не хочет дальше разговаривать... ИИ боты если честно вообще никуда не годятся в том числе и голосовые боты, сгенерированные видео, картинки распознаются моментально. Что уж там говорить даже ИИ рекрутеры игнорируются кандидатами они просто отказываются от собеседования. Короче говоря тема с ИИ это полная шляпа

[vikadochkina]

Мы как раз и проверяли, получится ли сделать голос и диалог достаточно естественными, чтобы человек не бросал трубку. Частично получилось: в нескольких случаях Нику не распознали как бота и оформили бронь. А в гостинице поняли, что звонит бот, но все равно спокойно продолжили разговор и забронировали номер :)

В «Сахалине» номер заблокировали из-за повторных тестовых звонков: мы позвонили туда несколько раз. Тут и живого человека вполне могли бы заблокировать.

[Lizdroz]

Администратору будет все равно кто на проводе, если бронь оформляется четко по регламенту и без заминок

[dochkinavika]

В гостинице из статьи как раз так и получилось: администратор поняла, что звонит бот, но спокойно продолжила разговор и оформила бронь :) Так что сам по себе звонок от ИИ не обязательно проблема. В целом администратор же заинтересован в первую очередь в продаже своей услуги / товара )

[Hoksmur]

Интересный эксперимент. Цена ошибки как-то оценивалась?

[dochkinavika]

Спасибо, рада, что было интересно :) Смотря что считать ценой ошибки: лишнее ожидание, повторный поиск, необходимость что-то поправить вручную - здесь многое зависит от сценария...

[ig_novvv]

Я поймал похожую штуку на Habr: браузерный агент заполнял редактор, текст был виден, но форма не замечала изменения и комментарий не отправлялся. При программной вставке через setContent нужно было отдельно включить событие обновления. С тех пор после отправки я проверяю через API, появился ли комментарий от моего аккаунта ровно один раз. Если записи нет, повторный клик сразу не делаю, сначала разбираюсь с состоянием формы.

[dochkinavika]

Да, согласна. Важно проверять конечный результат и по нему считать goal completion score: комментарий опубликован, бронь подтверждена, дублей нет. Особенно в чувствительных сценариях с бронями/заказами и тд, где повторный клик при непонятном статусе может закончиться вторым заказом )

[dochkinavika]

Заведение заинтересовано в бронировании, а администратору важно быстро получить нужные данные. Если агент отвечает по делу и не затягивает разговор, почему бы такую бронь не принять?)

[SysManOne]

ЖКХ не пробовали оплачивать? Узнать почему тарифы растут?

[Lizdroz]

Браузерный агент через анализ DOM-дерева всегда будет медленным и хрупким костылем по сравнению с прямым API-методом

[dochkinavika]

Да, статья и мои комментарии выше как раз именно об этом :) Браузер подключали как обходной путь для случаев, где нет подходящего API/MCP. Тесты показали, что даже после оптимизации это медленно, недешево и нестабильно.

[rumataestor]

294 инструмента, банковская карта, телефон, браузер… Я правильно понимаю, что эксперимент заключался в том, чтобы собрать цифрового долбо*ба с полномочиями генерального директора? :)

Причём генерального директора ещё можно уволить, а этот после каждого косяка будет вежливо объяснять, что задача успешно выполнена, просто результат немного отличается от ожидаемого. Осталось подключить ему Госуслуги, электронную подпись и доступ к расчётному счёту. И можно наконец выяснить, способен ли искусственный интеллект самостоятельно довести компанию до банкротства, не привлекая естественный.

А если серьёзно, эксперимент поднимает очень правильный вопрос. Мы увлеклись тем, сколько инструментов можно дать агенту, и как-то незаметно забыли, что полномочия и компетентность это две большие разницы.

Агент может технически безупречно выполнить операцию, которая категорически запрещена бизнес-правилами. И никакие 294 MCP не объяснят ему, почему этого делать нельзя, если соответствующий контекст ему никто не передал. Поэтому, прежде чем давать агенту ключи от production, неплохо бы убедиться, что он хотя бы понимает, где находится рубильник и почему его не надо трогать.

[durnoy]

Почему генеральный директор? Статья скорее про личного помощника (или executive assistant в англоязычной терминологии).

[dochkinavika]

все так)

[v_ryzhikh]

Очень круто получилось! Особенно с гостиницей!