Как не утонуть в инновациях: от стабильного AI-продакшена до смелых прорывов. Ещё недавно первая ML-модель в продакшене казалась большим достижением. А сегодня на команду обрушиваются десятки новых фреймворков, множество кейсов, например, использования LLM, и кто-то предлагает немедленно строить мультиагентную систему. Что делать – продолжать оттачивать текущее или броситься в очередной Disrupt?
Привет, Хабр! Меня зовут Никита Безлепкин. В этой статье разберёмся, как комбинировать между собой проверенную методологию систематизаци AI проектов CRISP-DM и управленческую методологию Run–Change–Disrupt, которые помогают не потеряться в технологиях и принять верное решение по их применению. На практических примерах разберем, как отличить стабильный путь от туманного стартап-подхода – без «розовых очков» и с пользой для дела.
Я уже более восьми лет занимаюсь AI-продакшеном. В 2023–2024 годах моя команда совместно с бизнесом внедрила в продакшен свыше 20 кейсов с LLM-моделями (всего у нас более 50 проектов с суммарным МАУ > 60 млн). Прошёл полный цикл создания AI-решений — от идеи и архитектуры до запуска и масштабирования, интегрируя ai-модели в бизнес-процессы разных компаний. Рассказал об этом на эфире для комьюнити Skillbox IT Experts. А в этой статье делюсь опытом и основными мыслями из доклада.
Методология CRISP-DM
Есть хорошая пословица: «Не зная броду — не суйся в воду». Она отлично отражает подход к AI-проектам: работая с искусственным интеллектом, нельзя идти наощупь. Даже если мы не ходили по этому маршруту, то всё равно должны понимать примерные ограничения. Каждое решение должно опираться на проверенные методологии и практики. Один из таких фундаментальных подходов — методология CRISP-DM, которая помогает систематизировать работу с данными и AI, задавая структурированный путь от идеи до внедрения.
Методология CRISP-DM довольно проста и прозрачна, в этом её сила: она описывает понятный и логичный цикл работы над AI-проектом.
Классически выделяют шесть фаз:
Бизнес-анализ. Чётко определяем проблему и цель проекта.
Анализ данных. Изучаем доступные данные, оцениваем их качество и пригодность.
Подготовка данных. Очищаем данные, преобразуем признаки, выполняем feature engineering (например, one-hot-кодирование, обработку пропусков).
Моделирование. Создаём и обучаем модель (машинное обучение или другой AI-алгоритм).
Оценка. Проверяем качество модели. Если результат нас не устраивает, возвращаемся к бизнес-анализу и пересматриваем подход.
Внедрение. Развёртываем модель в продакшене (при условии, что качество на этапе оценки достигло требуемого уровня).
Таким образом, CRISP-DM представляет итеративный процесс. Если модель не прошла этап оценки, цикл повторяется — это позволяет гибко адаптироваться к новым данным или условиям и не тратить ресурсы впустую на заведомо неработающие решения.
Реализация этапов различается в зависимости от задачи
Важно понимать, что CRISP-DM — не жесткий регламент, а рамочная структура. Каждый этап можно (и нужно) адаптировать под конкретную задачу, инструменты и тип модели. Конечно, фазу бизнес-анализа всегда приходится выстраивать с нуля под нового заказчика, отрасль и цели. Но и последующие этапы — анализ данных, подготовка, моделирование — могут существенно различаться в зависимости от проекта:
Например, если мы делаем классический ML-проект на табличных данных, то на этапе анализа данных считаем статистики, строим графики распределения признаков, ищем выбросы. Подготовка данных включает масштабирование переменных, one-hot-кодирование категорий, заполнение пропусков. Моделирование сводится к обучению, скажем, регрессии или решающего дерева с кросс-валидацией.
В случае же генеративных моделей (особенно LLM) процесс выглядит иначе. Мы редко анализируем данные «поштучно» — важнее оценить репрезентативность выборки, разнообразие промптов, качество инструкций, используемых для подготовки данных. Подготовка может включать нарезку текстов на фрагменты (chunking), балансировку классов, генерацию синтетических данных. А моделирование — это тонкая настройка модели под задачу (fine-tuning), параметр-эффективное обучение (PEFT) или даже подход без дообучения (zero-shot).
Иначе говоря, CRISP-DM задаёт общую структуру процесса, но наполнение этапов зависит от контекста. Мы должны применять те методы, которые соответствуют нашим данным, архитектуре решения и технологическому стеку.
Возникает закономерный вопрос: как классифицировать подходы к AI-проектам, чтобы не утонуть в выборе инструментов и понимать, что уместно именно в вашей ситуации? Делить проекты просто по модным технологиям — путь в никуда. Технологии меняются стремительно: сегодня LLM, завтра потенциально AGI, послезавтра еще что-нибудь новое. Стратегия, построенная только на хайповых инструментах, неустойчива.
Поэтому стоит взглянуть на проблему с управленческой точки зрения. Группировать подходы лучше по типам задач и организационным условиям. Бывают кейсы, где главная ценность — скорость экспериментов (там можно позволить MVP на базе готового API). Есть проекты, где критичны соблюдение регуляторных норм, плановый ретрейнинг моделей, их объяснимость и версионирование. А бывают инициативы, в которых на первом месте масштабируемость, жёсткие SLA и глубокая интеграция в продакшен — тут потребуются совсем иные архитектура, команда и процессы.
Таким образом, вместо вопроса «какой инструмент использовать — например, LangChain или RAG?» правильнее спросить: «В каком контексте мой проект и какой подход к внедрению ему соответствует?». Чтобы ответить на этот вопрос, удобна управленческая модель Run–Change–Disrupt.
Методология Run–Change–Disrupt
Run–Change–Disrupt — модель, помогающая структурировать деятельность организации и управлять изменениями. Она делит все инициативы на три категории:
Run — поддержка и стабильная эксплуатация. Продукт уже работает, и наша задача — просто поддерживать его рабочее состояние: следить за стабильностью, выполнять регламентные задачи, исправлять баги. Это рутинно, но крайне важно: если провалить Run, вся система развалится.
Change — улучшения без радикальной перестройки. Мы внедряем новые идеи, функции или подходы в уже работающий продукт, не меняя его основу. Например, подключаем более точную ML-модель в существующий пайплайн, обновляем алгоритм рекомендаций или оптимизируем локальный бизнес-процесс. Change позволяет эволюционно адаптироваться к новым требованиям без лишнего стресса.
Disrupt — настоящая трансформация. Мы ломаем старое и создаём нечто принципиально новое, запускаем инициативы, способные радикально изменить продукт, бизнес-модель или всю организацию. Пример Disrupt-проекта — внедрение генеративного AI, который перестраивает работу всей клиентской поддержки или, скажем, отдела продаж.
Эта модель особенно полезна при интеграции AI-инициатив в крупных компаниях, где одна и та же технология может использоваться в разных контекстах. В режиме Run это может быть просто мониторинг моделей и контроль их качества. В режиме Change — пилот новых архитектур моделей на существующих процессах или добавление новой ML-функции в продукт. В режиме Disrupt — запуск совершенно нового AI-продукта, который кардинально меняет существующие процессы..
Disrupt на практике: пример с AI-чатботом
Чтобы лучше понять критерии Disrupt, рассмотрим пример. Предположим, компания впервые решилась внедрить AI и запускает чат-бота с использованием классического ML: классификация обращений, правила для обработки текста, простые intent-модели. Ранее у компании не было вообще никаких AI-продуктов, и чат-бот — первый опыт применения ИИ в её процессах.
Для этой компании внутри, такой проект станет ярким Disrupt. Новая технология (AI) меняет привычные процессы — например, то, как обрабатываются обращения клиентов. Это не просто пробный пет-проект, а первая реальная интеграция «умного» решения в инфраструктуру продукта или сервиса. Важно отметить: даже если сам по себе используемый алгоритм не является новым, факт его первого применения в компании, требующего перестройки мышления и процессов, делает проект дисраптивным.
При этом восприятие инновации относительно. Для описанной компании внедрение чатбота — революционное событие, а вот для рынка в целом AI-боты давно не новость. То, что внутри компании = Disrupt, на уровне всей отрасли может считаться лишь Change. Поэтому всегда нужно учитывать масштаб: локальный (внутри организации) или системный (на рынке).
Зачем делить на Run, Change и Disrupt? Управление рисками
Разделение проектов на Run / Change / Disrupt – это не теория ради теории, а практический инструмент для управления рисками. Он позволяет принимать правильные управленческие решения и эффективно вести проекты с участием новых технологий.
Run. Здесь мы имеем дело с уже работающим продуктом, поэтому никаких экспериментов быть не должно – всё должно работать чётко, с нулевой терпимостью к сбоям. Команда знает, что и как делать, её задача – гарантировать пользователям стабильность и качество сервиса. Проще говоря, Run-этап – это поддержка продакшена. Нельзя «играть» в новых гениальных ученых, нужно надёжно держать систему в рабочем состоянии.
Change. Это режим улучшений и доработок. Мы можем позволить себе некоторые эксперименты: проверяем гипотезы через небольшие пилоты, A/B-тесты, минимальные жизнеспособные продукты. Как правило, мы опираемся на чужой успешный опыт – знаем, что технология в принципе уже где-то работает, мы лишь адаптируем ее под себя. Даже если эксперимент не даст желаемого эффекта, это не критично для бизнеса. Однако на выходе мы всё равно обязаны предоставить пользователю качественное обновление продукта.
Disrupt. Это ставка на нечто кардинально новое. Здесь нет проверенных кейсов – мы, возможно, первые, кто делает подобное. Риски максимальны, но если ставка сработает, то вложенные ресурсы могут окупиться в разы. Такой проект ведётся скорее в исследовательском формате, чем по чёткому плану разработки. И да, он может провалиться – и это нормально. Disrupt-проекты – это попытка прорыва, и к неудаче надо быть готовым заранее. Важно не ставить всё на одну карту: далеко не каждый смелый эксперимент «выстрелит», поэтому разумно балансировать портфель проектов, не полагаясь только на высокорисковый Disrupt.
Понимая, к какому типу относится ваш проект, вы можете реалистично оценить риски и ожидания. Этот подход подсказывает, какие процессы и метрики применять, как планировать работу – от этапа тестирования до вывода в прод. Он же поможет правильно объяснить руководству или заказчику, почему проект надо делать именно так, а не иначе.
И самое главное: не стоит требовать от Disrupt-проекта стабильности уровня Run-систем (и наоборот). Каждому типу инициатив соответствует свой подход – и в выборе технологий, и в стиле менеджмента.
Как связаны CRISP-DM и Run–Change–Disrupt
Интересно взглянуть на классический цикл CRISP-DM через призму модели Run–Change–Disrupt. Тип внедрения технологий накладывает свой отпечаток на то, как используется CRISP-DM на практике.
Run-проекты: у нас уже есть готовое решение, запущенное в продакшене. Мы проходим цикл CRISP-DM «по накатанной» – от бизнес-анализа до развёртывания – с целью поддерживать работоспособность продукта. Фокус на рутинных операциях: регулярное дообучение модели на новых данных, мониторинг метрик качества, устранение деградации. Никаких новшеств мы не изобретаем, а обеспечиваем жизненный цикл модели как хорошо отлаженный механизм. Этот процесс похож на швейцарские часы: не экспериментируешь, а следишь, чтобы всё тикало.
Change-проекты: обычно достаточно одной полноценной итерации CRISP-DM. Мы проводим бизнес-анализ, готовим и анализируем данные, обучаем модель – и уже знаем, какие архитектуры и подходы скорее всего дадут результат, потому что они зарекомендовали себя на рынке. Здесь проект развивается по понятной карте. Может быть, для нашей команды этот путь новый, но мы уверены, что аналогичные решения сработали у других. То есть Change-внедрение – это адаптация проверенного маршрута под свои условия, а не научная экспедиция в неизведанное.
Disrupt-проекты: процесс CRISP-DM повторяется многократно, проходя цикл снова и снова с разными гипотезами. У нас нет готового рецепта успеха; более того, некоторые итерации могут закончиться пересмотром всей концепции продукта. Ступени процесса могут меняться местами или пропускаться. К примеру, при работе с LLM можно сократить этап сбора и анализа данных, сразу сгенерировав необходимый корпус (синтетические данные) для обучения. Или, наоборот, начать с эксперимента над моделью (этап моделирования), а потом откатиться назад к уточнению бизнес-требований, если результаты не устроили. Disrupt – это путь в тумане: мы идём на ощупь, постоянно перепроверя себя, меняя инструменты и подходы по ходу дела. К этому просто нужно быть готовыми заранее.
Цикл Гартнера: где мы находимся, что сейчас disrupt, и куда движется ИИ
Чтобы понять на каком этапе развития находится та или иная технология, разобраться что еще disrupt,а что уже нет, выбрать правильный подход к реализации, аналитики часто используют цикл зрелости технологий Гартнера (Gartner Hype Cycle). Он наглядно показывает, как инновация проходит путь от первоначального ажиотажа до массового применения и реальной пользы для бизнеса. Классически выделяют пять фаз этого цикла:
Триггер инновации. Появляется новая технология, о которой заговорили первые энтузиасты.
Пик завышенных ожиданий. Хайп достигает максимума: все обсуждают инновацию и ждут от неё чудес.
Дно разочарования. Наступает отрезвление: технология не оправдала чрезмерных надежд, интерес к ней падает.
Склон просветления. Постепенно появляются реальные рабочие кейсы, понимание, для чего технология действительно полезна.
Плато продуктивности. Технология становится массовым инструментом, повсеместно внедряется в продуктах и процессах.
Например, возьмём дополненную реальность (AR). В 2013 году Google выпустил очки Google Glass – и AR взлетела на пик завышенных ожиданий, все говорили о «революции». Очень скоро наступило разочарование: Google Glass оказались сырым продуктом и провалились на рынке, AR-технологии на время ушли в тень. Спустя десять лет, в 2023-м, Apple представила свою гарнитуру Vision Pro, возродив волну интереса к дополненной реальности. Рынок снова возлагает надежды на AR, но уже более осторожно, с оглядкой на прошлый опыт.
А где на этом графике находится генеративный ИИ с LLM? По данным Gartner на август 2024 года, Generative AI уже миновал пик завышенных ожиданий и начал спуск к «дну разочарования» (в перспективе – подъём на «склон просветления»). Проще говоря, первоначальный вау-эффект от ChatGPT и прочих моделей сменяется более трезвым взглядом: бизнес ищет реальную отдачу от технологий и учится работать с их ограничениями. Хайп же продолжает подкрепляться новыми волнами: сначала в тренде был RAG (Retrieval-Augmented Generation, подход для точных ответов по внутренней базе знаний), сейчас модно обсуждать мультиагентные системы и цифровых двойников, именно благодаря развитию gen ai эти технологии вышли на пик хайпа.
К слову, цифровой двойник клиента – это виртуальная модель пользователя, которая на основе всех его данных способна предсказывать поведение, отвечать за него на вопросы и адаптироваться под стиль общения и потребности этого человека. Грубо говоря, мы сможем задать абсолютно любой вопрос к модели о пользователе, и она сможет ответить. Например: “Что он будет делать завтра?”, “Какие пончики предпочитает?”. Пока что подобные концепции находятся в начале пути, но вызывают большой интерес в ряде отраслей (финансы, ритейл, сервисы персональных рекомендаций).
Мультиагентные системы тоже переживают всплеск внимания. Идея не нова, первые исследования о мультиагентных системах появились в 70-х годах, а на практике применяется уже более 20 лет (из источников, которые смог найти). Например, система заводской автоматизации Schneider Electric и Siemens (2001). Агенты управляют роботами и станками, синхронизируясь между собой. В 2014 году Amazon запустил на своих складах первых автономных роботов, которые действовали в рамках мультиагентной системы. Но теперь, с появлением LLM, агенты могут общаться между собой на человекочитаемом языке, выстраивая подобие рабочей команды. Один агент может выступать диспетчером или «супервизором», раздавая задания, а другие – выполнять специализированные подзадачи и отчитываться по результатам. Это уже больше похоже на организацию цифровой команды, чем на просто автоматизацию по скрипту, пусть и мультиагентную.
Советы для Disrupt-проектов и генеративного ИИ
Если вы решились на проект с элементами Disrupt (а сегодня к ним относятся и многие инициативы с GenAI), вот несколько практических советов:
Сначала реализация – потом оптимизация. Начните с простого прототипа, даже если он работает медленно и неидеально. Главное – проверить саму идею в действии. Тонкая оптимизация и доводка по скорости/затратам должны идти после. Если начать сразу «полировать» решение, есть риск потерять фокус и вообще сломать весь подход, так и не доведя его до рабочего состояния.
Следите за обновлениями. Технологии в AI-разработке меняются молниеносно: библиотеки обновляются, фреймворки устаревают за считанные месяцы. То, что отлично работало в декабре, к июню может считаться устаревшим. Поэтому постоянно мониторьте новые подходы и достижения. Будьте готовы мигрировать на более свежие решения, не привязываясь насмерть к одному инструменту или модели. Гибкость – залог выживания в GenAI-буме.
Тестируйте идеи на лучших моделях. Даже если вы не планируете использовать, скажем, OpenAI GPT-4 в продакшене (из-за данных, цены или политики), проверяйте вашу задачу на таких топ-моделях. Если на эталонных моделях решение работает эффективно – значит, выбранный подход в принципе верный, и можно искать упрощенную или локальную альтернативу. А вот если даже лучшая доступная модель не справляется с задачей, есть повод серьезно пересмотреть архитектуру или логику решения до того, как тратить ресурсы на собственную реализацию.
В заключение, помните: здоровый скепсис не мешает инновациям, а направляет их в продуктивное русло. Используйте новые AI-возможности, но по делу – оценивая риски, опираясь на проверенные методологии и четко понимая бизнес-цель. Такой подход позволит внедрять AI-продукты без розовых очков, получая от технологий реальную пользу, а не только шум вокруг них. И если вам близок такой прагматичный взгляд на AI, загляните в мой Telegram-канал — там делюсь кейсами, наблюдениями и трендами с хайпом и без, главное — с фокусом на результат.
