Сегодня компании все чаще используют нейросети не только для отдельных запросов, но и для выполнения целых цепочек задач. ИИ-агент может самостоятельно найти информацию, написать код, обратиться к внутренней системе и подготовить результат. Чем больше таких действий система выполняет без участия человека, тем важнее становится контроль за ее работой и тем выше цена ошибки.
На третьем фестивале True Tech Friends эксперты обсудили реальные случаи внедрения ИИ-агентов и ситуации, в которых автоматизация начинала работать не так, как от нее ожидали. В центре дискуссии оказался практический вопрос: где агенту действительно нужна автономность, а какие задачи лучше оставить обычным алгоритмам.
В обсуждении приняли участие Ярослав Лосев, руководитель команды фронтенд-разработки «Яндекс Путешествий», Сергей Курбанов, руководитель исследований и разработок MWS, и Даниил Слюсарь, руководитель разработки PT Application Inspector в Positive Technologies.
True Tech Friends — это фестивальное ИТ-мероприятие от МТС, объединяющее выступления, дискуссии о современных технологиях и спортивные активности, развлечениями и неформальным общением специалистов.
Третий True Tech Friends прошел 21 августа на стадионе «Свиблово». В этот раз оно объединило спортивные гонки и «гонки алгоритмов» ИИ, поэтому участникам пришлось соревноваться не только в физической форме, но и в скорости работы с технологиями.
Не каждую задачу стоит автоматизировать
Одна из актуальных на текущий момент ошибок внедрения агентов возникает еще до технической реализации. Компании начинают автоматизировать процессы только потому, что это стало возможно.
На практике такой подход не всегда оправдан. Если задача занимает несколько минут и выполняется по четкому алгоритму, подключение языковой модели может добавить лишний уровень сложности. Агенту потребуется сформулировать задачу, найти нужный контекст, выполнить действие и проверить результат. В некоторых случаях человек справляется быстрее.
Похожая ситуация возникает при создании специальных скиллов для агентов. Участники дискуссии разобрали пример, когда разработчики тратили больше времени на создание автоматизированного сценария, чем ушло бы на выполнение самой задачи вручную.
Перед внедрением важно оценивать не только техническую возможность автоматизации, но и ее экономический смысл.
Поэтому сначала важно определить, какой тип логики подойдет для конкретного процесса. Если результат можно получить с помощью обычного прописанного алгоритма, нет смысла поручать это языковой модели. Один из таких примеров — выполнение финансовых расчетов, которые непосредственно генеративная модель без специализированного математического инструмента, что создало дополнительный источник ошибок, хотя для этой задачи было достаточно простого скрипта.
Поэтому при проектировании агентной системы важно четко определять, какие задачи стоит отдавать языковой модели, а для каких достаточно прописанного алгоритма. Генеративная модель подходит для работы с неструктурированной информацией, интерпретации запросов и подготовки вариантов решения. Так что там, где важно получить однозначный и воспроизводимый результат, лучше следовать прописанной логике.
Работающий код не всегда вписывается в общее решение
Отдельная проблема связана с проверкой результата. ИИ может выдать убедительный ответ или работающий код, но это еще не означает, что получившееся решение подходит для реальной системы.
По словам участников дискуссии, сейчас это особенно заметно при разработке. Человек может получить от модели готовый фрагмент кода, который выполняется без ошибок. При этом он может оказаться неоптимальным, плохо вписываться в существующую архитектуру или создавать проблемы на следующем этапе.
Ярослав Лосев, руководитель команды фронтенд-разработки «Яндекс Путешествий», рассказал, что на собеседованиях они в компании просят кандидатов подробно объяснять собственный код и логику принятого решения.
Специалист должен понимать работу каждой части программы, а не просто предъявить результат работы нейросети.
Как следствие меняются и требования к специалистам — теперь больше ценится умение поставить задачу, спроектировать решение и проверить результат.Так что фактически ИИ увеличивает требования к инженерному мышлению.
Чем больше у агента полномочий, тем точнее стоит прописать ограничения
Когда агент получает доступ к внешним инструментам и может самостоятельно выполнять действия, важно прописать не только цель, но и допустимые способы ее достижения. Иначе агент может выбрать формально подходящий, но нежелательный вариант.
Поэтому при разработке агентных систем полезно продумать дополнительные уровни контроля. Например, модель может самостоятельно найти информацию и подготовить предложение, но столкнется с запретом на изменение данных в корпоративной системе — на этом этапе нужен человек.
На встрече отдельно обсудили случаи, когда сотрудники передают рабочие данные во внешние нейросети, несмотря на внутренние ограничения компании.
Поэтому при настройке корпоративного ИИ-контура важно учитывать не только качество модели, но и то, какие данные она получает, куда может обращаться и какие действия ей разрешены.
Одна хорошая модель не решит сразу все задачи
Еще один вывод дискуссии связан с выбором самой модели. Даже сильная языковая модель не решает все задачи одинаково хорошо.
На практике эффективность агента зависит от всей системы. В нее могут входить несколько моделей, специализированные инструменты, механизмы проверки и правила, определяющие порядок действий.
Сергей Курбанов предложил не противопоставлять качество модели и качество агентной архитектуры. В некоторых сценариях имеет смысл использовать более сильную модель, в других — подключать специализированную модель или отдельный инструмент. Если часть задачи можно надежно решить обычным алгоритмом, ее лучше не передавать генеративной системе.
Такой подход позволяет собирать агентную систему из разных компонентов. Один отвечает за интерпретацию запроса, другой работает со специализированными данными, третий проверяет результат. При этом архитектура остается управляемой.
Есть и другая особенность. Модели развиваются настолько быстро, что оптимальная архитектура сегодня может измениться через несколько месяцев. Поэтому при разработке корпоративных решений важно не привязывать весь процесс к одной конкретной модели, а выстраивать архитектуру, которая позволяет гибко заменять или дополнять компоненты по мере развития технологий. Это дает возможность оперативно подключать более эффективные модели, не переписывая всю систему заново.
ИИ-агенты меняют требования к специалистам
Распространение агентов постепенно меняет структуру работы. Если рутинные операции можно передать машине, специалисту приходится решать задачи более высокого уровня.
Особенно это заметно в разработке. Нейросеть может написать функцию, подготовить тест или предложить архитектурное решение. Но окончательное решение — подходит ли этот вариант системе — остается за человеком.
То же самое в аналитике и других профессиях. Агент может собрать информацию, подготовить документ или выполнить стандартные действия. Специалист при этом должен понимать исходную задачу, контролировать процесс и оценивать результат.
Один из ключевых навыков — умение работать не только с ИИ, но и над ИИ. Человек решает, что автоматизировать, выбирает инструмент, задает ограничения и проверяет итоговый результат.
Что было помимо докладов
Отдельная часть программы была посвящена практическим форматам. На одном мастер-классе гости создавали собственные продукты и представляли их аудитории. Второй прошел в формате викторины — от ответов участников зависел дальнейший сценарий игры.
Параллельно гости собирали собственные болиды и соревновались на скорость с другими командами.
Можно было поиграть в пинг-понг, создать свою программу тренировок и опробовать ее на практике.
Победители конкурсов и активностей получили мерч и яркие эмоции.
Выводы
В результате обсуждения коллеги пришли к единому мнению, что самый важный этап при внедрении ИИ-агентов — правильно выстроить флоу работы. Чем больше действий передается системе, тем важнее заранее определить границы ее самостоятельности, способы проверки результата и зоны ответственности человека.
Важно заранее разграничить, что можно поручить агенту, а что нет, и как контролировать результат.
