Привет, меня зовут Пётр, я занимаюсь продуктовой аналитикой уже около 12 лет, специализируюсь преимущественно на продуктовых рисерчах и экспериментальной аналитике.

Я работал в разных командах, и везде был разный подход к экспериментам. Разные сервисы, которые используются на ключевых этапах жизни гипотезы, разный формат документации, несогласованность в рассчётах, костыли в сложных или нестандартных дизайнах.

Эта боль и легла в основу проекта.

Недавно мы с командой выпустили в открытую бету b2b SaaS платформу для менеджмента и анализа продуктовых экспериментов.

В этом обзоре хочу рассказать что это такое, кому будет полезно и что умеет.

Концепция

С точки зрения дизайна приложения, нам хотелось объединить разрозненные инструменты для планирования, анализа и хранения данных экспериментов в едином пространстве и стиле, чтобы свести максимум рутины в одно поле, и чтобы хранить историю экспериментов в едином формате с удобным поиском и фильтрами.

Важный момент - система не занимается запуском и сплитом траффика, весь фокус мы сделали на рассчёты и менеджмент. Сплитовать траф вы можете любым удобным способом, будь то VWO, Firebase, Sigma или своя разработка.

Движок анализа, базовый рассчёт эксперимента

Ключевая фича приложения это его аналитический движок.

В разработке движка принимали участие опытные АБ-шники, но чтобы совсем усилиться, мы привлекли ещё 2-х действующих профессоров статистики из ВШЭ и University of York.

Как оно работает:

На вход подаётся датасет, сгруппированный по дням и единицам рандомизации (далее ЕР, но почти всегда это по юзерам), в строках день/ЕР, в столбцах аггрегированные метрики и сегменты, например гео или платформа;
Далее препроцессор анализирует таблицу и определяет типы метрик (умеет работать со всеми типами - конверсионными, числовыми и ratio-метриками) и формат эксперимента - AB или мультивариативный ABC+;
После этого, препроцессор начинает последовательно анализировать распределение метрик, чтобы определиться с обработкой данных. Датасет может быть насколько угодно сырой, система сама найдёт выбросы, скошенные распределения, рассчитает эксцесс, учтёт бимодальность и преобразует данные одним из 4-х методов:
1. Жесткая очистка для редких и сильных выбросов;
2. Логарифмирование для положительных лог-нормальных распределений;
3. Винзоризация по 5% для относительно стабильных распределений;
4. Винзоризация по 1% как дефолт для почти чистых данных;
Когда данные подготовлены, система применяет статистические методы для оценки доверительных интервалов и расчёта p-value, основываясь на типах метрики и эксперимента. В распоряжении движка 6 классов тестов, от простого z-теста конверсий до более сложных, вроде Welch ANOVA + Games-Howell для мультивариантных экспериментов);
Для корректной работы с ratio-метриками, система применяет линеаризацию;
Для мультивариативных экспериментов, само собой, всегда применяются поправки на множественные сравнения, а для A/B опционально можно применить Family FDR коррекцию, если она требуется дизайном эксперимента;
Если выборки небольшие, система предложит включить Монте-Карло ресэмплирование для повышения надежности рассчётов.

Пример вывода результатов 2-х вариантного эксперимента

Движок анализа, прогнозирование результата

Прогноз — это инструмент для досрочной остановки активного эксперимента, когда бизнес не может ждать полного набора выборки.

Типичный сценарий - вы запланировали эксперимент на 3 недели, но бизнесу нужно решение быстрее. Запускаете на 1 неделю, загружаете промежуточные данные и получаете прогноз: с какой вероятностью эксперимент будет успешным, если довести его до конца.

Прогноз основан на Байесовском инференсе через априорные и постериорные вероятности, корректно работать начинает уже от ~30% собранных данных и анализирует вероятности получения положительной разницы между группами (P(Δ>0)) и вероятности прокраса метрики по заданной альфе к концу эксперимента (P(α)).

Для мультивариативных экспериментов дополнительно вычисляется вероятность варианта быть лучшим в своей группе (P(Top)).

Пример вывода результатов прогноза для 2-х вариантного эксперимента

Движок анализа, мониторинг

Сколько бы я не работал в области АБ, всегда есть заказчики, которые ну очень хотят посмотреть как там движется эксперимент. Классическая статистика это запрещает, т.к. ранние расчёты приводят к нарушениям. Но подглядеть же хочется.

Мы учли этот момент и имплементировали sequential-testing на основе того же Байеса, мы не корректируем p-value, а оперируем вероятностями успеха.

Тут рассчитываются вероятности успеха по Global p (для ABC+, вероятность что хоть какая-то группа будет лучше контроля), лучший вариант, а так же health-check эксперимента - равное распределение групп и прогресс набора выборки.

Пример наблюдения за ходом мультивариативного эксперимента на дашборде

Функция доступна только для экспов, полученных по API, об этом ниже.

Менеджмент метрик

Всё начинается с заполнения каталога метрик. По сути это просто справочник, чтобы держать команду в синхроне. Используется в sequential-тестах и в создании гипотез.

Метрики можно заводить в ручную или просто загрузить датасет эксперимента - система автоматически вычислит где там у вас потенциальные метрики и предложит добавить в каталог всей пачкой сразу.

Если отметить ключевую денежную метрику (Revenue, Gross, GMV и т.д.), то спустя время можно будет ретроспективно оценить профитность вашей стратегии экспериментов в разделе "Статистика".

Предварительная подготовка на этом заканчивается, можно переходить к наполнению бэклога.

Создание гипотезы

В разных компаниях исторически свой формат дизайна гипотез, кто-то совсем минималистично описывает суть, кто-то заморачивается с предварительными исследованиями и требует обязательного документа-основания.

Мы попытались собрать тот формат, который нам кажется наиболее полным, но не очень перегруженным.

Заказчики заводят карточки гипотез в одноименном разделе. Тут Всего 2 обязательных поля - название гипотезы и, собственно, её суть. Текстовое поле гипотезы поддерживает markdown, так что сюда можно и ссылки прикрутить, и таблицы, если очень хочется.

Рекомендуется, конечно, заполнять все поля, скажете себе спасибо за контекст спустя время. Но для быстрых набросков заморачиваться не обязательно.

Единственное поле тут, которое может вызывать вопросы у заказчиков - это Требуемый размер выборки на эксперимент.

Для рассчёта выборки имеется дополнительный инструмент, который позволяет сконфигурировать почти любой дизайн эксперимента и рассчитать выборку по конверсионной или числовой метрике, с любым количеством групп и кастомным сплитом.

Пример рассчёта траффика на ABC эксперимент с неравным сплитом по числовой метрике

После создания гипотезы она появляется в разделе "Гипотезы" со статусом Backlog. Тут можно отфильтровать список новых идей и обсудить с командой приоритеты, а после запланировать проведение экспериментов.

Запланированные эксперименты наглядно можно посмотреть в разделе "Календарь", он выполнен на основе диаграммы Ганта, клик по названию гипотезы подкручивает на нужные даты.

В целом всё готово, осталось только планомерно запускать эксперименты на своей стороне и собирать данные для анализа.

После сбора данных загружаем их через CSV или, ещё проще в будущем, собираем витрину по экспам и просим инженеров настроить ETL-процесс для автоматической загрузки данных по API. Так все активные эксперименты будут сразу доступны для анализа, прогноза и sequential-тестирования.

После анализа эксперимента сохраняем результаты в нужную гипотезу и описываем выводы для команды. Если лень, или нет идей, можно воспользоваться помощью AI-ассистента, который проанализирует гипотезу, посмотрит на варианты, выборки (целевую и фактическую), изучит результаты во всех доступных сегментах и сам опишет свои наблюдения на всех доступных языках локализации. Вам останется только перечитать и поправить, если AI где-то не доглядел.

Готовую карточку эксперимента можно пошерить в команду для других участников, которых не добавили в команду в AB-Labz. Шеринг генерит токен в URL экспа и разрешает доступом по ссылке. Удалить токен и закрыть доступ можно в любое время.

API

REST API позволяет программно загружать датасеты экспериментов в AB-Labz без ручной загрузки через UI.

У подхода через API есть 2 преимущества:

На дашборде можно следить за всеми экспериментами, однако автоматический анализ после каждой отправки обновлённых данных доступен только для экспериментов, которые поставляются через API (SRM, Текущая выборка, прогноз успеха)
Автоматическая синхронизация. С настроенной синхронизацией не нужно вручную выгружать данные, каждый новый эксперимент становится сразу доступен в списке загрузки данных.

Логика работы API простая - вы собираете витрину на своей стороне и пушите аггрегированные данные по экспам в наш S3. Там данные хранятся в зашифрованном виде и удаляются автоматически через 30 дней после последнего обновления. В интерфейсе, в разделе API есть зеркало на вашу папку в S3, где можно удалить датасет эксперимента в ручную, он так же безвозвратно удалится и в S3.

Для аутентификации используется bearer-токен, который можно получить в интефейсе в разделе API. На одну компанию можно создать один ключ, но его всегда можно ��егенерировать, если он был утерян или скомпрометирован.

Раздел доступен только администраторам организации.

Ретроспектива

При наборе 10 завершённых экспериментов, открывается доступ к разделу "Статистика".

Эта страница представляет собой дашборд по стратегии экспериментов. Выводит как основные показатели: количество проведённых экспов, WinRate по ключевой метрике, средний достигнутый эффект по метрикам, средняя длительность экспа, так и считает накопительные эффекты: вроде "за время экспериментирования удалось повысить CR1 совокупно на 15%" или "Предотвращенные потери - 250000 Revenue, на не выкатке негативных фичей".

Если у вас установлена ключевая денежная метрика, то система анализирует значимые положительные эксперименты и высчитывает ориентировочный профит, который команда АБ смогла достичь своими внедрениями.

В этом же разделе есть блок инсайтов, в котором AI-ассистент ищет ваши паттерны в экспериментах, например "Слишком часто используется одна метрика в качестве ключевой, что может ограничивать потенциал оптимизации" или "Обратите внимание, эксперименты на покраску кнопок у вас почти всегда успешны, можно продолжать работать в этом направлении".

Приятные мелочи

Проект заточен под европейский рынок, поэтому root на английском, но доступна русская локализация. В ближайшем будущем планируется немецкий, французский и испанский. Уже доступна поддержка тёмной и светлой темы, планируется ещё кастомизация под стиль клиента.

Бета-тестирование

Сейчас проект в стадии открытой беты, присоединиться и попробовать можно, зарегистрировавшись на сайте проекта и написав нам письмо с темой запроса бета-доступа через форму саппорт (иконка с жуком в футере). Мы активируем доступ до конца бета-периода. В рамках беты весь функционал открыт.

Конец беты намечен на 31 марта 2026 года, но всё, как обычно, будет зависеть от обработки логов sentry и вашей обратной связи.

Если вам интересно посмотреть как можно оптимизировать работу аналитического отдела по направлению экспериментов, буду рад подключить вас к бете.

Сайт проекта: https://ab-labz.com/

Документация: https://library.ab-labz.com/

Консоль: https://workbench.ab-labz.com/

Спасибо за внимание!

AB-Labz — менеджмент и анализ продуктовых экспериментов