Байесовские А/Б-тесты: средние
-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing/blob/main/Байесовская_оценка_АБ-тестов.ipynb
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl
Приходите на конференцию GlowByte FineDay–2025 – участвуйте в "битве" за будущее данных!
Друзья, компания GlowByte, единственный партнер FanRuan уровня Diamond в России, приглашает на ежегодную конференцию по бизнес-аналитике и большим данным FineDay — 2025: Self-Service BI vs AI — битва за будущее данных!
Мероприятие соберет профессионалов в области Business Intelligence и AI, чтобы обсудить революционные изменения в мире данных и вектор развития BI-индустрии. Вас ждут интересные доклады и горячая дискуссия о том, как self-service аналитика и искусственный интеллект формируют будущее работы с данными.
Ключевыми темами мероприятия станут:
Эволюция Self-Service BI: как демократизация данных меняет корпоративную аналитику.
AI-революция в аналитике: возможности и вызовы интеграции ИИ в BI-системы.
Гибридные подходы: синергия человеческой экспертизы и машинного интеллекта.
В программе конференции будут звучать доклады:
Миграция с Qlik Sense на FineBI: практический опыт смены BI-платформы.
От SAP BW и MS PowerBI к ClickHouse и Sigla Vision: эволюция корпоративной аналитики в Полюсе.
Цифровая трансформация данных в группе Московская Биржа: от централизованной отчетности к культуре Data Driven и стратегической цели AI-Native
Эксперты и компании-участники
На FineDay — 2025 выступят и примут участие представители ведущих организаций: Газпромбанк, Полюс, Московская Биржа, СК «Сбербанк страхование», СИБУР Диджитал, Viz Standart, FanRuan, GlowByte.
Время проведения конференции: 14:00 — 21:00.
Участие бесплатное, но необходима регистрация.
Адрес будет в письме после регистрации.
Делимся видеозаписями выступлений с нашей Конференции Luxms.
Начнем с выступления Ирины Долженко, Главного эксперта департамента информатизации ОАО “РЖД”:
"Визуализация данных как стратегический актив: опыт построения единой BI-системы в крупнейшем транспортном холдинге".
Сегодня в крупнейшем железнодорожном холдинге страны работает десяток проектов на базе Luxms BI – от аналитики для начальников дорог и топ-менеджмента до HR-решений для холдинга численностью более 700 тысяч сотрудников и мониторинга центральной станции связи.
Масштаб задач впечатляет: каждый год РЖД прибавляет +5 петабайт данных! И к системе предъявляются предельно жесткие требования по производительности. Luxms BI справляется с этим масштабом, обеспечивая надежность и скорость работы на уровне национальной инфраструктуры.
Смотрите на:
Многие, кто обучал большие модели искусственного интеллекта, сталкивались с ситуацией, когда необходимы данные из множества источников. Но если источники совсем не из одной корпорации, то из-за GDPR или законах о защите персональных данных нет возможности обмениваться данными напрямую.
Как быть, если нужно обучать большие модели, но нельзя собирать всю информацию в одном месте?
Решение — федеративное обучение. Это система, в которой центральное устройство (сервер) объединяет усилия множества участников (устройства): каждый совершает операции на своих данных, а сервер собирает только результаты, не забирая саму информацию.
В зависимости от специфики задачи, данные на устройствах могут храниться по-разному. На основе того, как делится матрица признаков между участниками, можно выделить два подвида федеративного обучения:
📌 Горизонтальное федеративное обучение (HFL)
Суть: у разных участников данные имеют одинаковые фичи (одинаковые столбцы), но разные строки (разные пользователи/наблюдения).
Пример: несколько банков обучают модель для предсказания мошеннических транзакций. У всех есть одинаковые признаки по транзакциям (сумма, время, место, категория операции и т.п.), но набор клиентов у каждого банка свой. Объединяя данные через HFL, они получают более устойчивую модель, не раскрывая данные клиентов напрямую.
📌 Вертикальное федеративное обучение (VFL)
Суть: у разных участников есть одни и те же сэмплы (одни и те же строки), но разные признаки (разные столбцы).
Пример: банк и страховая компания имеют одних и тех же клиентов. У банка есть финансовые характеристики (история транзакций, кредитный рейтинг), у страховой — медицинская история и страховые выплаты. Объединив признаки в VFL, они могут построить более точную модель для оценки рисков по клиенту.
При этом нельзя сказать, что примеры выше оторваны от реальности. Например, Google применяет федеративное обучение для улучшения работы клавиатуры Gboard. Вместо сбора всех данных о нажатиях на своих серверах, центральное устройство получает только агрегированные обновления модели. То есть, обучение происходит прямо на устройствах пользователей, но без нарушения приватности.
Вебинар «ADQM Control глазами DBA»
14 октября присоединяйтесь к нашему вебинару, где мы на примере практических кейсов покажем, как ADQM Control помогает упростить эксплуатацию и повысить производительность кластеров ClickHouse.
В программе
Краткий обзор ADQM Control и новых возможностей, появившихся после майского вебинара.
Разбор типовых проблемных кейсов эксплуатации кластеров ClickHouse.
Live-demo практических примеров их решения.
Тизер релиза начала 2026 г.
Q&A.
Эксперты Группы Arenadata:
Дмитрий Безруков, руководитель отдела технических менеджеров — основной докладчик, Q&A
Антон Коваленко, руководитель департамента продуктового маркетинга — модератор дискуссии, Q&A
Зарегистрироваться на вебинар можно тут.
Байесовские А/Б-тесты: конверсии
Как мы ушли с Airflow и упростили MLOps
Привет! Меня зовут Александр Егоров, я MLOps-инженер в Альфа-Банке, куда попал через проект компании KTS. За свою карьеру я построил четыре ML-платформы (одна из которых сейчас в Росреестре) и развиваю с командой пятую. Недавно мы полностью пересобрали пайплайны и мигрировали c Airflow на Argo Workflows + Argo CD. Делимся подробностями!
Почему Airflow стал мешать?
Airflow отлично подходит для десятков DAG’ов, но на масштабе сотен моделей появляются проблемы: всё усложняется, теряется Kubernetes-нативность, GitOps работает через костыли, а обновления DAG’ов становятся ручным трудом. Версионирование ломается, пайплайны идут десятками минут, и отлаживать их настоящая боль.
Почему Argo Workflows?
Argo — это K8s-native решение, декларативный подход, совместимость с GitOps, простейшее развертывание и минимум лишних компонентов. Для нас это был буквально глоток свежего воздуха. Вместо монолитного Kubeflow — один контроллер, никаких лишних слоёв и масштабируемость из коробки
Подробнее читайте в статье «GitOps для Airflow: как мы перешли на лёгкий K8s-native Argo Workflows»
Управление качеством данных выводит бизнес-процессы на новый уровень
ОТП Банк представил инновационный подход к управлению качеством данных. Об этом 24 сентября 2025 года на 10-м форуме «Управление данными — 2025» в Москве рассказал Николай Шевцов, директор дирекции по управлению данными ОТП Банка. В ходе своего доклада он представил анализ практического опыта построения сквозной системы управления данными (Data Governance), которая успешно работает в ОТП Банке уже более 2-х лет. Особое внимание было уделено презентации инструмента, позволяющего в реальном времени отслеживать сотни критических показателей по всему массиву данных финансовой организации – автоматическим проверкам данных.
«Новый подход, основанный на принципе «Data Quality by Design», позволил не только значительно повысить надежность информации, но и добиться значительной экономии средств, превратив контроль качества данных из статьи расходов в мощный стратегический актив, улучшающий финансовый результат компании», - отмечает Николай Шевцов.
По словам эксперта, традиционные системы контроля «качества данных» часто ассоциируется с рутинными отчетами и бесконечными ручными проверками. Бизнес-пользователи сталкиваются с ошибками в отчетах, а аналитики тратят до 70% времени на исправление инцидентов, что приводит к замедлению процессов и выгоранию сотрудников. Решение ОТП Банка кардинально меняет эту парадигму.
Основной элемент новшества — централизованная Data Governance платформа, которая хранит все метаданные – бизнес-глоссарий, каталог данных, домены, владельцев, процессы. Ее ключевое отличие заключается в интеграции BRD (Business Requirements Document) и FSD (Functional Specifications Document) в платформу как структурированных объектов, а не разрозненных документов в Word или Confluence. Глубокая автоматизация и интеграция контроля на этапе разработки любых data-продуктов позволяет бизнесу и IT работать в едином контуре, обеспечивая прозрачность и скорость реагирования на инциденты.
Также платформа обеспечивает сквозной мониторинг сотен критических показателей в реальном времени, автозакрытие инцидентов и оперативные уведомления, что дает бизнес-пользователям полный контроль над операционными задачами, а специалистов почти полностью освобождает от рутинных процессов, оставляя больше времени для решения стратегических задач.
«Благодаря тому, что создание DQ-проверок мы встроили в Framework разработки Data – продукта, 75% проверок создаются теперь автоматически на основе бизнес-правил, без участия человека. Таким образом, мы смогли прийти к значительному ускорению процессов – меньше минуты на создание проверки качества данных против 10-15 минут режиме ручной поверки. И добились снижения операционной нагрузки на команды в сотни раз. При этом почти на треть вырос уровень качества данных, потому что мы успеваем проверять то, до чего раньше не доходили руки. Как результат – на 25% сокращены затраты на решение инцидентов качества данных за счет автоматизации рутинных операций», - пояснил Николай.
По словам Шевцова, команде ОТП Банка удалось встроить «ген качества» в ДНК бизнес-процессов, что открывает новые возможности для увеличения эффективности ML- моделей для работы искусственного интеллекта.
🚀 Объём корпоративных данных растёт на десятки процентов в год, а специалистов всё так же не хватает. В статье для VC.RU мы вместе с Екатериной Ризановой рассказали, как ИИ-агенты помогают решать эту проблему: берут на себя рутинные задачи в хранилищах данных и BI-системах, ускоряют работу команд и экономят компаниям миллионы рублей в год.
ИИ-агент — это не чат-бот. Он сам выполняет действия: анализирует код витрин, строит lineage, генерирует SQL, находит инсайты и помогает сотрудникам сосредоточиться на действительно важных задачах.
👉 Делюсь материалом: https://vc.ru/ai/2233616-ii-agent-dlya-rabotyi-s-bolshimi-dannymi
Байесовские А/Б-тесты: примеры байесовского моделирования
-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl
Яндекс снова на обложке, хотя теперь под именем Nebius. После сделки с Microsoft акции в США улетели на +71%. Формально — всё красиво: дата-центр в Нью-Джерси, контракт на $17+ млрд до 2031 года. Но за кулисами это выглядит чуть иначе.
Главная проблема индустрии — NVIDIA ограничивает квоты на свои чипы. Это значит, что даже гиганты вроде Microsoft не могут прийти и сказать: «Дайте нам вагон H100, мы оплатим картой». Карточек тупо нет столько, сколько всем нужно. Поэтому Microsoft вынужден искать партнёров, у которых есть доступ к чипам через свои каналы.
Появляется Nebius. У компании свой лимит на железо, свои отношения с NVIDIA — и теперь кусок этого лимита фактически «арендован» Microsoft. То есть вместо того, чтобы напрямую выбивать квоты, корпорация берёт вычислительные мощности у бывшей «Яндекс N.V.».
Строительные автопилоты: почему данные становятся главным активом строительства.
Автоматизация в строительной отрасли становится массовой и доступной, и её ценность всё меньше в самих технологиях, а всё больше — в данных, которыми они управляют.
За последние 30 лет CAD/BIM фактически превратились в инструмент ручной разметки строительной реальности: инженеры и архитекторы создавали базы элементов зданий и сооружений, превращая чертежи и 3D-модели в структурированные датасеты.
То, что Google, Tesla или Waymo делали силами миллионов студенто-часов, размечавших вручную изображения с людьми и объектами, в строительстве десятилетиями заполняли инженеры проектировщики в специальных базах слабоструктурированных данных AutoCAD или структурированной базы данных Revit или ArchiCAD.
Именно эти массивы станут сырьём для «строительных автопилотов» — систем, способных автоматически расставлять элементы в пространстве проекта и рассчитывать стоимость, сроки и ключевые параметры новых проектов. Как LLM обучаются на массиве текстов, чтобы генерировать новые знания и целые приложения, так и в строительстве мы сможем с помощью AI и workflow использовать опыт тысяч реализованных проектов, чтобы проектировать и планировать новые проекты быстрее и точнее.
У отрасли есть лишь десятилетие, чтобы превратить накопленный опыт в основу будущих систем. После этого рынок займут те, кто сумел первым построить собственные «автопилоты».
Но сами по себе автопилоты, AI-модели и процессы автоматизации ничего не стоят без качественных данных. Именно уникальные, хорошо структурированные наборы данных станут главным активом компаний. Их невозможно скопировать или купить, в отличие от софта или подрядчиков. Настоящее конкурентное преимущество даёт не программа, а налаженный конвейер по сбору, очистке и обогащению собственных данных.
Но сами по себе автопилоты, AI-модели и процессы автоматизации ничего не стоят без качественных данных. Именно уникальные, хорошо структурированные наборы данных станут главным активом компаний. Их невозможно скопировать или купить, в отличие от софта или подрядчиков. Настоящее конкурентное преимущество даёт не программа, а налаженный конвейер по сбору, очистке и обогащению собственных данных.
В ближайшие годы ключевой задачей строительных компаний станет не создание проектов как таковых, а системная подготовка и капитализация своих или приобретённых массивов данных. Те, кто начнёт этот процесс сейчас, получат собственных «автопилотов»-агентов. Остальным придётся довольствоваться чужими.
Хотите обсудить новые пайплайны автоматизации, поделиться своими кейсами или получить помощь? Больше примеров автоматизации вы можете найти в репозитарии на GitHub или в нашем телеграмм чате "n8n Development | Практика автоматизации и готовые решения" Присоединяйтесь к нашему Telegram-сообществу для живых обсуждений, советов и эксклюзивного контента.
Байесовские А/Б-тесты: общая картина
-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl
Ближайшие события
Новая версия продукта «Форсайт. Умные таблицы»
Друзья, это того стоило! 3 месяца работы – и перед вами новая версия «Форсайт. Умные таблицы» 10.9!
Новая версия кардинально улучшит ваш опыт работы с продуктом.
Вот над чем команда усердно работала в последнее время:
Возможность сохранить персональные отчеты в репозиторий «Форсайт. Аналитическая платформа»
Ура, теперь все ваши классные таблицы и расчеты вы можете сохранить в «Регламентный отчет» прямо в репозитории «Форсайт. Аналитическая платформа». Это значит, что подготовленные вами шаблоны форм и отчетов будут бережно храниться на сервере и могут быть вновь использованы как вами, так и вашими коллегами (при наличии доступа) во всех инструментах «Форсайт», включая их веб-версии.
Важно: отчеты стали мощнее и просто не откроются в предыдущих версиях.
Ваши отчеты теперь умеют работать сами
Мы подключили к «Форсайт. Умные таблицы» полноценный объектно-ориентированный язык программирования Fore. С его помощью вы можете превратить повторяющиеся задачи в магию автоматизации. Например, если нужно проверить, какие данные пользователь ввел, добавить новые элементы в справочник или реализовать нетиповую детализацию данных на отдельном листе с произвольным оформлением, Fore поможет решить эти задачи в режиме онлайн подключения к «Форсайт. Аналитическая платформа»
Отслеживание изменений в отчетах
Благодаря хранению информации обо всех изменениях данных в вашем отчете, вы не только сможете увидеть комментарии пользователя, который их сделал, но и увидеть – кто, когда и что именно поменял в каждой конкретной ячейке.
Индикация доступных ячеек для ввода данных
Помимо цветовой индикации ячеек, в которые пользователь не может вводить данные, мы добавили простые и понятные пиктограммы, отражающие ячейки с отсутствием прав доступа для ввода, а также ячейки с расчетными агрегированными данными.
Пользовательские кнопки на панели инструментов
Теперь вы можете закрепить самые нужные функции и убрать то, чем не пользуетесь на панели инструментов. Нужен уникальный воркфлоу? Создайте свою кнопку и назначьте ей свой макрос Fore, всё произойдет по нажатию.
Множество новых удобных функций
Мы реализовали защиту листа, расширили возможности печати и визуализации данных в диаграммах, добавили авторастягивание конструируемого среза при вставке данных из буфера.
Важно! Новая единица лицензирования
Ранее в целях апробации «Умных таблиц» сервер лицензий использовал единицу лицензирования пользователя «Форсайт. Аналитическая платформа». Начиная с версии 10.9 необходимо запрашивать и устанавливать отдельные лицензии для пользователей «Умных таблиц».
Более детальная информация здесь: https://announce.fsight.ru/fst/10-9/
Компания «Форсайт» представляет новую версию своего флагманского продукта – «Форсайт. Аналитическая платформа» 10.9!
В новой STS-версии расширены возможности для создания отчетности и визуализации данных в веб-приложении:
- пользователи смогут установить защиту листа,
- использовать упрощенную настройку параметров печати в регламентных отчетах,
- отменить изменение данных на активном листе или в отчете.
Теперь в веб-версии платформы доступен поиск по командам меню в регламентных отчётах, а также ввод и согласование данных в бизнес-процессах через регламентные отчёты.
Работа с алгоритмами расчета в вебе станет более удобной благодаря новым возможностям по выравниванию объектов и настройке смешанного форматирования текста при оформлении рабочей области.
Также в релизе 10.9:
расширены возможности менеджера безопасности и менеджера обновлений;
появился нативный драйвер к базе данных СУБД ClickHouse с возможностью write-back;
появилась возможность отладки веб-форм;
и многое другое!
Обратите внимание!
В «Форсайт. Аналитическая платформа» 10.9:
повышена версия репозитория метаданных: при обновлении платформы необходимо обновить версию репозитория;
повышена версия метаданных регламентных отчётов: отчёты, созданные в 10.9, будут недоступны для открытия в предыдущих версиях.
STS-релиз – это промежуточный выпуск, включающий новые функции перед их интеграцией в LTS (Long Term Support) – релиз с долгосрочной поддержкой.
Подробнее о новой версии читайте здесь.
График выпуска версий можно посмотреть здесь.
Подробнее с релизной стратегией можно ознакомиться здесь.
ML Impact — рассказываем, как компании внедряют ML и что из этого получается
Мы запустили ресурс о том, как эффективно использовать искусственный интеллект в рабочих задачах. Уже доступны материалы про настоящую роль ИИ в автоматизации и работу EDGE AI. Скоро появятся новые статьи!
Их можно использовать, чтобы обосновать коллегам или руководству целесообразность запуска ML-проекта. У вас под рукой будет готовый ресурс, которым можно просто поделиться — вместо тысячи слов и долгих объяснений.
Влияют ли орфографические ошибки в запросе на ответ нейросети?
Лично я часто отправляю в нейросеть сырой текст с ошибками, но она всегда меня понимает и делает то, о чём я её прошу.
Получается, нейросетям не так важно, есть ли ошибки в тексте?
Не совсем.
Нейросети устроены так, что могут догадаться, какое слово вы имели в виду.
Как?
Ранее я писал про токены — именно на них и разбивается текст. Давайте для примера разобьём слово с ошибкой и без:
"Привет" → ["Пр", "ивет"]
"Пирвет" → ["П", "ир", "вет"]
Можно попробовать самим — ТУТ (нужен VPN).
Выходит, что слово с ошибкой разбилось аж на три токена, причём довольно далёких от исходного слова по смыслу.
Есть два варианта:
1️⃣ Нейросеть по контексту догадается, что это слово — "привет".
2️⃣ Такая ошибка (опечатка) не редкость, и в системе токенов (векторных представлений) токены "привет", "п", "ир", "вет" могут находиться рядом. А значит, для нейросети они будут иметь схожий смысл, и она поймёт, что вы имели в виду.
* Если непонятно, что значит "находятся рядом" — можно почитать статью ТУТ, там объясняется просто но подробно.
На практике могу сказать, что в обычных вопросах и просьбах орфографические ошибки не влияют на результат.
Но если ошибка полностью меняет слово или делает его непонятным, нейросеть, как и человек, постарается угадать смысл по контексту.
Идеально — писать без ошибок, чтобы получать максимально точные результаты. Но в повседневной жизни нейросеть способна сгладить ваши ошибки, как это делает человек.
Вывод:
Восприятие текста нейросетью очень похоже на человеческое. Небольшие ошибки, скорее всего, не повлияют на результат, а серьёзные будут компенсированы контекстом — нейросеть догадается. Проблема может возникнуть, если ошибка превращает слово в другое существующее слово, и контекст не позволяет понять, что вы имели в виду — как и человек, нейросеть может запутаться.
Лучше избегать ошибок, но их наличие — не критично!
Новая статья на Habr: Опыт t2 по масштабированию BI на 4500+ пользователей
Опубликовали большой кейс о том, как компания t2 (бывший Tele2) решила одну из главных проблем российского рынка аналитики — нехватку западных BI-решений.
Главные цифры кейса:
4500+ пользователей FineBI
400+ разработчиков отчетности
Кластерная архитектура с 6 нодами
3 года успешной эксплуатации
Ключевые инсайты:
✅ Как организовать автоматизированное обучение пользователей
✅ Почему безлимитные лицензии стали ключевым мотиватором миграции
✅ Как построить внутреннее сообщество поддержки в Telegram
✅ Зачем нужна поэтапная миграция с участием бизнес-пользователей
Для кого будет полезно
Руководителям аналитики — практический опыт масштабирования BI
IT-директорам — архитектурные решения и организация процессов
Аналитикам — понимание современных self-service подходов
Всем, кто планирует миграцию — реальные уроки и рекомендации
Бонус от GlowByte
В статье также рассказываем об образовательном ретрите по FineBI, который стартует 25 августа:
🔸 13-дневный марафон с обновленной программой
🔸 3 эксклюзивных вебинара: FineReport Pro, AI в аналитике, 3D-визуализация
🔸 Реальные кейсы от t2, Уралсиб, Циан и других компаний
🔸 Система призов за лучшие домашние задания
Читать статью полностью → https://habr.com/ru/companies/glowbyte/articles/939470/
Уже через неделю, 28 августа, встречаемся на RecSys Meetup!
Когда? 28 августа, старт в 18:00
Где? Москва + онлайн-трансляция
Обсудим актуальное из мира рекомендаций: от передовых архитектур для построения Semantic IDs и их внедрения в продуктивные системы, до тонкостей балансировки интересов пользователей и продавцов маркетплейса с помощью онлайн-доранжирования и байесовской оптимизации.
В программе:
«Semantic IDs: архитектура и наш опыт внедрения» | Александр Тришин, Data Scientist в команде персональных рекомендаций
«Счастье пользователя vs счастье продавца. Онлайн-доранжирование и байесовская оптимизация в товарных рекомендациях» | Андрей Ветров, Data Scientist в команде товарных рекомендаций
«Как мы обучаем CLIP-ы для текстовых тегов» | Михаил Киндулов, CV Engineer в команде Поиска по фото
«Трансформеры в персональных рекомендациях: от гипотез до AB-тестирования» | Иван Ващенко, DS Stream Lead в команде персональных рекомендаций
Регистрация уже открыта! PS: для участия в офлайне регистрация обязательна.
А больше о митапе и развитии ML/DS в Wildberries & Russ — ищите в WB Space.
Нагрузочное тестирование GP6 vs GP7 vs Cloudberry
Насколько лучше производительность в GP7 и Cloudberry относительно GP6? Насколько стабильно работают GP7 и Cloudberry? Стоит ли мигрировать с GP6 в 2025? И если да, то на что? Ответы на эти вопросы — в партнерском материале по нагрузочному тестированию GreenPlum 6.X, GreenPlum 7.X и Cloudberry ведущего архитектора группы компаний GlowByte Марка Лебедева.
Материал был анонсирован в статье «Тестирование систем и движков массивно-параллельных вычислений. Часть II. TPC-DS» и продолжает серию публикаций о нагрузочных тестированиях технического руководителя решений Data Ocean Nova и Data Ocean Flex Loader Евгения Вилкова.
