Pull to refresh
133.88
Raft
AI решения для бизнеса

Как проверять ИИ гипотезы быстро и дешево – гайд в CRISP-DM Light фреймворк

Level of difficultyMedium
Reading time3 min
Views732

Делали ли вы работу в стол? Вопрос риторический…

Но больше, чем остальным это грустное чувство «проекта в стол» знакомо тем, кто занимается разработкой и внедрением ИИ решений: по статистике за 2024 год из них доходят до продакшена только от 15 до 30%

И большинство неудач здесь не из-за плохих моделей или технической сложности, а из-за несогласованных бизнес-потребностей.

Наши партнеры из Яндекса на CTO Conf-2025 презентовали новый фреймворк — CRISP-DM Light  — он призван исправить эту ситуацию.

CRISP Light - Taste it!
CRISP Light - Taste it!

 Для кого этот фреймворк?

На текущий день ничто не демократизировалось настолько сильно, как доступ бизнеса к технологиям искусственного интеллекта:

  • ИИ-ассистенты превращают одинокого разработчика в целый оркестр

  • Low-code, no-code решения открывают новые перспективы для не-инженерных ролей — бизнес-аналитиков, тестировщиков

  • Стоимость инференса GPT 3.5 за два года упала в 380 раз

Но эта демократичность избирательна и основными ее бенефициарами на текущий момент остаются энтерпрайз-компании. Среди компаний СМБ сектора адопшен технологий низкий — по собранной нами недавно статистике лишь у 13% организаций среднего и малого бизнеса в 2025 году автоматизирована хотя бы одна бизнес-функция за счет внедрения ИИ. Таким образом, и технологический, и экономический разрыв между секторами продолжает расти.

Ценность CRISP-DM Light фреймворк при этом представляет для обоих типов компаний — и для крупняка, и для середняков.

Энтерпрайзу он позволят добиться:

  • Сокращения времени на проверку гипотез и построения PoC

  • Сокращение затрат за счет минимизации ручного кодирования и сбора данных

  • Валидации ценности для бизнеса на самых начальных этапах проекта.

Помогает решить он и проблемы СМБ: почему они не внедряют ИИ? Потому что им все еще дорого:

  • Дорого содержать команду дата-инженеров

  • Дорого налаживать инфраструктуру хранения данных

  • Дорого ошибаться — зачастую у них только один выстрел.

 Данный фреймворк для них — возможность отвалидировать несколько идей без риска остаться без штанов, приоритезировав для имплементации уже наиболее перспективную.

CRISP Light Framework
CRISP Light Framework

Суть фреймворка CRISP-DM Light

Он построен на базе хорошо известного CRISP-DM (Cross-Industry Standard Process for Data Mining), где этапы сбора данных и обучения модели были заменены альтернативными активностями. CRISP‑DM Light ни в коем случае не призван заменить традиционный фреймворк — его применение ограничивается построением прототипов и концептов, а не production‑ready решений, ключевая задача — ускорить и удешевить проверку гипотез.

Итак, давайте разберем CRISP-DM Light пошагово:

Шаг 1: Определение бизнес-целей, требований и ограничений

1.1 Проведите CustDev

  • Поговорите с ЛПР-ами? Поговорите с представителями конечных пользователей — четко определите какую проблему и как вы пытаетесь решить? 

1.2 Подготовьте PRD (Product Requirements Doc) 

  • Сформулируйте гипотезу, определите подход к ее проверке, определите метрики и критерии успешности.

Шаг 2: Моделирование через промтинг на LLM   

2.1 Выберите подходящую модель

  • Используя бенчмарки, наилучшим образом отвечающие задаче, что вы пытаетесь решить, выберите лучшую модель из вам доступных

2.2 Используйте промтинг для разработки концепта решения

  • Задизайньте промт для проверки гипотезы и итеративно двигайтесь с использованием advanced техник, например: Chain-of-Thought (CoT), Self-Correction и т.д.

Шаг 3: Валидация

3.1 Используйте синтетические edge-кейсы для тестирования

  • Эмулируйте worst-case сценарии; определите, когда система фейлится; сгенерите с помощью LLM сложные синтетические, но реалистичные кейсы

3.2 Проверьте решение на соответствие метрикам 

  • Выберите подходящие метрики, основываясь на изысканиях, что были проделаны на Шаге 1 при подготовке PRD; используйте недорогие методы валидации

Шаг 4: Проведите Демо для стейкхолдеров

Подготовьте минимально-необходимое демо для валидации результатов работы концепта решения (PoC) со стейколдерами:

  • Минимизируйте инвестирование: используйте low-code\no-code решения

  • Проработайте happy path сценарии и тестовые примеры для демонстрации ключевой ценности решения

Заключение

Используя CRISP-DM Light фреймворк вы сможете:

  • Делать более быстрые итерации: базовая проверка гипотез в течение нескольких дней, а не месяцев.

  • Делать дешевле: в рамках процесса тестирования гипотезы нет необходимости в предварительной проработке больших объемов данных и выстраивании хранилищ и ETL-пайплайнов.

  • Делать для бизнеса: фокусироваться на реальных проблемах людей, а не только на точности модели 😉

Пробуйте, делитесь вашими результатами, рассказывайте о проблемах, с которыми сталкиваетесь, — так победим! 😊

Tags:
Hubs:
+9
Comments2

Articles

Information

Website
ai.raftds.ru
Registered
Founded
Employees
101–200 employees
Location
Россия
Representative
Евгений Кокуйкин