Байесовские А/Б-тесты: связь с p-значениями
-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing/blob/main/appendices/Связь_с_p-значениями.ipynb
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl
-Stepik: https://stepik.org/course/249642/promo
Цифровые двойники и 3D-визуализация: опыт GlowByte и FanRuan
GlowByte и FanRuan провели бизнес-завтрак с промышленными компаниями. Мероприятие было посвящено новым возможностям бизнес-аналитики, которые открывают инструменты FineVis и FineReport.
Эксперты продемонстрировали, как компании переходят от статичных дашбордов к интерактивным цифровым двойникам, которые обновляются в реальном времени и помогают принимать решения быстрее: от таблиц и графиков – к живым цифровым моделям.
Чжан Цзэфэн, Product & R&D Lead FineVis, FanRuan, рассказал:
как развивалась визуализация данных – от первых таблиц до VR/AR и 3D-моделирования,
что такое цифровой двойник и какие уровни зрелости существуют – от L0 до автономных систем L5,
почему 3D-визуализация имеет критичное значение для аналитики,
как применяют компании 3D-моделирование в логистике, производстве, энергетике, умных городах, медицине,
как FineVis и FineReport объединяют визуализацию и аналитику, интегрируя данные из ERP-, MES- и IoT-систем.
Смотреть видео выступления Чжана.
Алексей Коломенцов, старший консультант практики Business Intelligence, GlowByte, провел демо, в котором пошагово показал, как с помощью FineVis создать полноценного цифрового двойника – от пустой сцены до живой 3D-модели с данными.
В демо вы увидите:
Интерфейс системы и ключевые инструменты для работы.
Как строить сценарии взаимодействия с моделью.
Создание с нуля примера 3D-анимации.
Подключение реальных данных к объектам и их отображение в режиме реального времени.
Как сделать визуализацию интерактивной и полезной для аналитики.
Друзья, 12 февраля проведём открытый вебинар по следам нашего ESB-исследования в «Кругах Громова».
Если коротко — за последний год мы оценили 18 российских интеграционных платформ по единой методологии: 12 категорий, 1 000 баллов. Такого раньше на рынке не было. Результаты местами предсказуемые, местами — неожиданные.
На вебинаре поговорим:
— Почему компании до сих пор путают Kafka, ESB и data pipeline — и платят за это дважды
— 5 классов интеграционных решений: когда какой работает, а когда — категорически нет
— Как мы строили матрицу зрелости и кто в итоге получил номинацию
— Что планируем исследовать дальше — и как повлиять на приоритеты
Будет живой эфир с интерактивом, не просто «говорящая голова».
Кто работает с интеграциями, выбирает платформу или просто в теме — приходите, будет интересно.
📅 12 февраля 2026, 11:00 МСК
📍 Онлайн, бесплатно
👉 Нужна регистрация: тут
GlowByte разработала методику выбора BI на основе сценарного анализа
Практика Business Intelligence GlowByte разработала подробное руководство по сценарному выбору BI с готовой Excel-матрицей для сравнения платформ.
GlowByte выделяет 4 ключевых сценария с разными потребностями и акцентами:
отчеты для руководителя,
self-service,
регламентная отчетность,
исследование данных.
Сценарии в матрице сопровождаются своим набором релевантных критериев, каждый из которых имеет оценку критичности, что позволяет адаптировать расчет под конкретный проект: при изменении критичности пересчитываются все баллы, и BI-платформа получает новую оценку.
ℹ️ Методика учитывает изменения в BI-ландшафте, запрос на адаптивность и гибкость, а также необходимость подстраивать инструмент под задачу, а не наоборот. Исследование содержит детальные чек-листы по каждому сценарию, критерии оценки и примеры расчетов.
Впервые GlowByte выпустила сравнительную таблицу инструментов для анализа данных в 2022 году (рассказывали о подходе в статье “Как выбрать BI-платформу”). Подробнее о том, как GlowByte пересмотрела методику и почему старый подход не работает, - в новой статье "От универсальных критериев к сценарному подходу".
Open Table Formats — Iceberg vs Paimon — практика использования
В блоге партнеров GlowByte вышла новая статья.
Автор рассказывает об опыте работы с новым открытым табличным форматом (OTF) Paimon от разработчиков Apache Flink, представляет практические выводы, которые были сделаны на промышленных средах; а также проводит репрезентативное тестирование, где иллюстрирует ключевые практические сценарии.
Появление open table formats исполнило вековую мечту data-инженеров: совместило эффективность хранения и чтения Apache Parquet с возможностью обновления данных без полной их перезаписи. Достигается это за счет парадигмы Merge-On-Read и «отложенного удаления», когда информация об удалении старых версий записи пишется в deletion-файлы. Для фреймворков потоковой обработки, например Flink, это открывает возможности по обновлению данных прямо в Data Lake в режиме, близком к реальному времени, а для движков пакетной обработки — Spark, Impala, Trino, StarRocks — сокращает расход ресурсов на MERGE новых порций данных в витрины.
Читать статью полностью по ссылке.
Всё зелёное — значит, всё ок?
В новом выпуске подкаста «В SREду на кухне» обсуждаем суть мониторинга и причины его хронических сбоев. В фокусе — метрики и алерты: как не утонуть в потоке предупреждений, отсеять ложные сигналы и выстроить эффективную систему. Говорим о том, как SRE анализируют графики, какие показатели бизнес считает ключевыми, и развенчиваем миф о том, что «зелёный» статус всегда означает успех.
Ведущие:
Михаил Савин, SRE Community Lead в Авито;
Андрей Волхонский, руководитель юнита System в Центре разработки инфраструктуры Авито;
Евгений Харченко, руководитель отдела по развитию практик в разработке и эксплуатации в Райффайзен Банк.
Подписывайтесь на канал AvitoTech в Telegram, там мы рассказываем больше о профессиональном опыте наших инженеров, проектах и работе в Авито, а также анонсируем митапы и статьи.
Процедурное SQL-расширение в Lakehouse-платформе — новые возможности для работы с данными
В блоге технологического партнера GlowByte вышла новая статья. Команда Data Sapience рассказала о реализации процедурного расширения для работы с MPP-движками Lakehouse-платформы данных Data Ocean Nova, которое стало доступным для пользователей.
Ребята рассказывают о возможностях, применимости и сценариях использования процедурного языка в аналитической платформе данных и делятся планами по развитию Data Ocean Nova.
RAG vs Fine-tuning: что выбрать для бизнес-данных
RAG даёт актуальные данные, Fine-tuning — застывшие знания
Задача: сделать Telegram-бота для сотрудников, который отвечает на вопросы по внутренним регламентам, инструкциям и политикам компании.
Первый вопрос: fine-tuning или RAG?
Fine-tuning отпал сразу
Регламенты обновляются — новая политика отпусков, изменения в ДМС, новый регламент согласований. Переобучать модель каждый раз?
Нужны точные ссылки — "это написано в п.3.2 Положения о командировках", а не "примерно так заведено"
Галлюцинации опасны — бот не должен выдумывать правила, которых нет
Конфиденциальность — отправлять внутренние документы в OpenAI для fine-tuning?
RAG решил все проблемы
Обновил документ = бот уже знает — без переобучения
Прозрачность — бот показывает источник: "согласно Положению о ДМС, раздел 4..."
Данные внутри периметра — эмбеддинги можно считать локально
Контроль — легко добавить/удалить документы из базы знаний
Типичные вопросы к боту
"Сколько дней отпуска у меня по ТК?" → Ответ + ссылка на Положение об отпусках "Как согласовать командировку?" → Пошаговая инструкция + ссылка на регламент "Что покрывает ДМС?" → Перечень услуг + ссылка на договор
Когда что выбирать
КритерийRAGFine-tuningДокументы обновляются✅❌Нужны ссылки на источник✅❌Конфиденциальные данные✅⚠️Специфичный тон ответов➖✅Быстрый MVP➖✅
Мой вывод
Для корпоративной базы знаний — однозначно RAG.
Fine-tuning оправдан, если:
База знаний статична (редко меняется)
Не нужны ссылки на источники
Важен уникальный стиль общения бота
А как вы решаете задачу корпоративного бота? RAG, fine-tuning, или готовые решения типа Notion AI?
Привет!
В рамках «Кругов Громова» сейчас запускаем новое исследование — по российским платформам роботизации бизнес‑процессов (RPA). Хотим собрать честный опыт внедрения: что реально автоматизировали, где программные роботы помогают, а где мешают жить.
Если вы участвовали во внедрении RPA, запускаете и поддерживаете программных роботов (RPA‑ботов) в проде или, наоборот, уже обожглись и отказались от платформы — очень нужны ваши ответы. Опрос занимает 5–10 минут, он про практику, а не про маркетинг.
👉 Опрос RPA-круга Громова: https://forms.yandex.ru/cloud/6937ddf7068ff0b2dab7e0ee/
Результаты войдут в открытое исследование по российским RPA‑платформам на russianbi.ru — в духе прошлых исследовательских кругов: с разбором сильных и слабых сторон и типичных граблей.
Если есть история «как у нас роботы пошли не по плану» или, наоборот, показательный успешный кейс — кратко накидайте в комментарии к этому посту, это тоже поможет исследованию.
Call for Pioneers: Launching the StarRocks Russian Community
Hello, Russian Developers!
We are the team behind StarRocks, a next-generation, high-performance analytical database (OLAP) widely adopted by leading tech companies globally for its blazing-fast query speeds and unified architecture.
We have always admired the Russian tech community. From ClickHouse to Nginx, Russia has a legendary reputation for engineering excellence and database innovation. We believe StarRocks has a lot to offer to this vibrant ecosystem, but we face a challenge: Language.
To bridge this gap, we are launching the StarRocks Russia Localization Program. We are looking for 3-5 technical experts to become the founding contributors of our Russian community.
The Mission
We don't just need translators; we need technical evangelists. Your goal is to help us localize high-quality technical content (Architecture deep dives, Benchmarks, User Cases) from English/Chinese into native, professional Russian, ensuring the local community can access the best resources.
Who We Are Looking For
- Native Russian Speaker: You have a high command of technical writing.
- Tech Savvy: You have mastered SQL, OLAP, and Data Warehousing, and your current job involves working with OLAP databases.(Experience with ClickHouse or PostgreSQL is a huge plus).
- Language Skills: You have a good understanding of English (or Chinese).
- Passion: You are active on Habr, Reddit or Telegram tech groups, or GitHub.
What You Will Get
- Competitive Bounties: We pay for every high-quality article translated or proofread.
- Official Recognition: We will be launching an official website in Russia, where you will be certified and listed as a Community Evangelist (subject to your consent for public disclosure).
- Inner Circle Access: Direct communication with our core R&D team and early access to new features.
- Exclusive Swag: Limited edition StarRocks geek gear.
5 случаев, когда Fine-tuning лучше RAG
Все говорят "RAG для всего". Но есть кейсы, где fine-tuning выигрывает — и это не только про статичные данные.
1. Жёсткий формат вывода
Бот для CRM должен всегда возвращать:
{"name": "...", "phone": "...", "intent": "..."}
RAG не гарантирует формат. Fine-tuning — да. Модель "запоминает" структуру на уровне весов.
2. Доменный жаргон
Врач пишет: "в/в капельно NaCl 0.9% 400мл". Юрист: "п.1 ч.2 ст.158 УК".
RAG найдёт документ, но не научит модель "говорить на языке". Fine-tuning встраивает терминологию в модель.
3. Логика без документов
Расчёт стоимости доставки: вес, габариты, зоны, сезонность, тип клиента — 20 переменных.
Это не в документе, это в голове логиста. Fine-tuning переносит экспертизу в модель.
4. Стиль эскалации
Банковский бот не должен говорить "не знаю". Только: "Уточню у специалиста, ожидайте".
RAG учит контенту, fine-tuning — поведению и тону.
5. Скорость
RAG: эмбеддинг → поиск → генерация = 3 вызова, ~2 сек.
Fine-tuned модель: 1 вызов, ~0.5 сек.
Для голосового бота или real-time чата — критично.
Когда всё же RAG: данные часто меняются, нужны ссылки на источник, конфиденциальность.
Гибрид работает: fine-tuning для формата и стиля + RAG для актуальных данных.
А вы где использовали fine-tuning?
Рассматриваем генетический код через призму машинного в новом выпуске ПВЗ
ПВЗ — подкаст команды Ozon Tech, в котором мы говорим о технологиях. На этот раз — о генной инженерии.
У микрофона ведущие Марина Самойлова, руководитель направления платформы данных, и Виктор Корейша, руководитель направления Managed Services. Гость выпуска: учёный-нейробиолог Владимир Алипов.
Разобрали, действительно ли у человека и бактерии один и тот же генетический код, возможности и этичность его редактирования. Узнали, с какой биг датой работают учёные и смогут ли они сделать человека умнее.
🎞️ Смотрите выпуск на YouTube или в VK Видео
🎧 Слушайте в аудиоформате
GlowByte на Хабре: подводим итоги 2025 года
Пробежимся по основным статьям, которые наши авторы написали в этом году.
Год начался с "ПИКантной миграции" – активный участник сообщества FineBI GlowByte от первого лица рассказал о том, как компания ПИК мигрировала c Tableau на FineBI.
Команда Financial Intelligence GlowByte разобрала ситуации для импортозамещения CPM, а бизнес-архитектор практики Retail Solution GlowByte Алексей Чванов рассказал, как ритейл в России слезает с промозависимости. Команда IIOT описала цифровую трансформацию как основу непрерывного улучшения производства.
Мы также рассказали, почему книгу Брюса Сильвера «BPMN. Метод и стиль» называют фундаментальной. А эксперт GlowByte Юлий Гольдберг, основываясь на своем 20-летнем опыте работы с платформами данных, BI, аналитическими решениями, поделился: что нужно помнить, чтобы Self‑Service BI стал реальным драйвером развития корпоративной культуры работы с данными, а не остался благим пожеланием.
В дополнение темы о Self-Service аналитике – познакомили вас с новой BI-платформой Sigla Vision.
Команда Business Intelligence GlowByte рассказала о скрытой стоимости BI и вместе с партнером FanRuan посмотрела на китайскую ИИ-революцию и экосистему ИИ-продуктов FanRuan.
Ведущий аналитик GlowByte Артем Матяш описал свой личный опыт прохождения сертификации процессных аналитиков в Ассоциации профессионалов процессного управления.
Ведущий архитектор GlowByte Марк Лебедев поделился результатами нагрузочного тестирования, которое он с коллегами провел для сравнения Greenplum 6 с Greenplum 7 и Cloudberry, а спустя время дополнил картину, рассказав о тестировании YMatrix.
Следующий год планируем открыть статьей о выборе BI-системы на основе разработанной в GlowByte методики.
Всех с наступающим Новым годом!
Нагрузочное тестирование YMatrix
В партнерском материале расширяются результаты нагрузочного тестирования из статьи «Нагрузочное тестирование GP6 vs GP7 vs Cloudberry» и презентуются результаты тестирования YMatrix. Это дополнение к предыдущей статье, призванное сформировать понимание сравнимости результатов различных форков GreenPlum.
Оптимизации функционала Apache Iceberg в задачах real-time загрузки и обработки данных
В блоге Data Sapience, технологического партнера GlowByte, вышла новая статья.
Технические лидеры направления разработки Apache Spark в составе платформы Data Ocean рассказывают:
С какими проблемами можно столкнуться при реализации Upsert Streaming в Iceberg;
Что такое equality delete;
Почему они создают нагрузку при чтении таблиц в Apache Iceberg;
Как оптимизировали Apache Spark, чтобы снизить потребление памяти и ускорить чтение данных.
Вселенная данных: Владимир Сурдин о том, когда цифровой мир встречается с космосом
В новом эпизоде подкаста «Почти всё знают» в гостях у Марины Самойловой и Виктора Корейши астроном Владимир Сурдин.
Поговорили с Владимиром Георгиевичем о том, как учёные собирают, хранят и анализируют космические данные. Спойлер: телескопы видят только часть неба, а Вселенная вовсе не такая, какой мы её представляем.
Какая она на самом деле — узнаете из этого выпуска. А ещё:
– какие компьютеры используют астрономы,
– что сегодня — самая большая проблема для астрономии,
– как учёные спасают Землю от астероидов и какой робот сможет отправиться на поиски жизни на других планетах.
Приятного просмотра!
Нагрузочное тестирование YMatrix
Привет, друзья! Мой коллега Марк, ведущий архитектор GlowByte, поделился в новой статье результатами тестирования YMatrix.
Сразу оговорюсь, что это дополнение к предыдущей статье, для того, чтобы сформировать понимание сравнимости результатов различных форков GreenPlum, поэтому акцентировать внимание будем только на YMatrix. Детали по методике тестирования и как были получены результаты для GP6, GP7 и Cloudberry 1.6, можно прочитать в предыдущей статье по ссылке выше.
Добро пожаловать в статью! Комментарии приветствуются.
Эта работа описывает методику отслеживания непреднамеренного наследования паттернов между последовательными версиями языковых моделей.
Проверяем гипотезу, что при обучении новых моделей на предыдущих версиях (распространённая практика ради эффективности) они наследуют не только явные знания, но и «способы мышления», которые ускользают от привычных фильтров и процедур оценки.
Основные элементы:
Двухконтурный анализ
• Внутренний: сравнение геометрии представлений по cosine similarity и Centered Kernel Alignment (CKA) в выровненных пространствах признаков.
• Внешний: оценка переноса фиксированной классификационной «головы» (логистическая регрессия), обученной на одной версии и применённой к другой без дообучения.
Обнаружение событий
• O-TRACE: многомасштабное EMA + ζ-ядро для фиксации согласованных колебаний метрик.
• Импульсы: пороговая детекция резких падений в Δcos и ΔCKA.
Эксперименты на реальных моделях
• Эволюция семейства GPT-2: distilgpt2 → gpt2 → gpt2-medium.
• Переход между архитектурами: GPT-2 → DeepSeek-Coder-1.3B.
• Датасет: SST-2 (анализ тональности).
Ключевые выводы
• Геометрические сдвиги (падения CKA) могут быть значительными, даже когда cosine similarity остаётся высокой.
• Перенос фиксированных «голов» часто сохраняется при смене архитектуры.
• Самые сильные импульсы наблюдаются на межархитектурных переходах.
• «Стиль» и «смысл» могут расходиться независимо в процессе эволюции.
Эволюция моделей включает не только плановые улучшения, но и неконтролируемый перенос паттернов. Это важно для безопасности ИИ: модели могут наследовать и усиливать нежелательные предвзятости и формы поведения, обходящие стандартные фильтры.
Структура (3 папки):
• docs/ — два PDF с полным текстом на русском и английском.
• code/ — code_real_GPT2family.txt: одна ячейка для Colab. Загружает SST-2, извлекает признаки (mean-pool last_hidden_state), выравнивает размерности методом Procrustes, считает cosine/CKA и перенос логистической «головы», сохраняет отчёты (CSV, JSON, TXT).
Код и полный файл с объяснением методологии (на русском) доступны по
ссылке: https://zenodo.org/records/17926666
Премьера года: знакомьтесь с DataForge!
Вебинар — 16 декабря, 12:00
Друзья, делюсь новостью, которой горжусь: коллеги запускают премьерный вебинар и впервые подробно покажут DataForge — новую российскую self-service платформу для централизованного управления аналитическими данными.
Я внимательно следила за развитием этого продукта и на некоторых этапах принимала участие в обсуждениях — особенно за те функции, которые лично для меня, как аналитика, принципиально важны:
— быстрый сбор и систематизация витрин
— возможность видеть и настраивать бизнес-логику
— единый подход к расчётам для всех систем без бесконечного ручного труда в Excel
DataForge — это инструмент, который сам собирает и поддерживает Data Mart слой для любых связанных систем. Особенно актуален для тех, кто строит витрины на ClickHouse: автоматическая генерация витрин, согласованность расчётов для всех потребителей данных — и всё это без лишних доработок со стороны разработчиков.
О чём расскажут на вебинаре:
Какие задачи решает DataForge и как ускоряет работу всех подключённых систем, включая BI
Как устроена структура продукта: его место в архитектуре и ключевые компоненты
Подробно покажем семантический слой: реестры показателей, измерений, единая бизнес-логика
Как работает автоматическая генерация SQL и публикация витрин в базе
Как DataForge обеспечивает согласованность метрик и прозрачность данных в любых BI-инструментах
Как платформа автоматически транслирует изменения в бизнес-логике во все связанные системы
Спикеры:
Технический директор и владелец продукта DataForge
Формат:
Онлайн, 1 час живого диалога с экспертами, включая демонстрацию интерфейса и ключевых возможностей платформы
Участие бесплатное!
Демонстрационный атлас Luxms BI: лучшие практики в одном месте
Демонстрационный атлас – удобный набор готовых примеров, который позволяет увидеть и изучить возможности платформы на практике.
Атлас содержит более 40 демонстрационных дэшбордов, каждый из которых показывает конкретную функцию Luxms BI: от стилизации таблиц и условий форматирования до использования write-back, LPE-выражений, расширенного расчетного функционала и многого другого.
Каждый дэшборд – это компактный «мини-кейc». Справа – готовая визуализация, слева – объяснение, из чего она состоит и как настроена. Вы сразу понимаете механику, видите конечный результат и можете повторить его у себя в проекте.
Все примеры построены на локальных кубах, которые устанавливаются вместе с пакетом. Это значит, что можно изучить структуру данных и свободно экспериментировать с собственными сценариями.
Атлас объясняет, как решить большое количество прикладных задач: как покрасить строки в таблице, как настроить write-back, как выполнить расчет, как скрыть столбец, как настроить действие по клику, как внедрить интерактивные элементы и многое другое.
Готовые решения, собранные в одном месте, делают работу с платформой намного проще, атлас выполняет роль и некого справочника лучших практик, и источника быстрых находок для разработчиков, аналитиков, или тех, кто только начинает знакомство с Luxms BI.
Посмотреть видеообзор и узнать, как получить доступ к демоатласу, можно на нашем сайте.
