Вселенная данных: Владимир Сурдин о том, когда цифровой мир встречается с космосом
В новом эпизоде подкаста «Почти всё знают» в гостях у Марины Самойловой и Виктора Корейши астроном Владимир Сурдин.
Поговорили с Владимиром Георгиевичем о том, как учёные собирают, хранят и анализируют космические данные. Спойлер: телескопы видят только часть неба, а Вселенная вовсе не такая, какой мы её представляем.
Какая она на самом деле — узнаете из этого выпуска. А ещё: – какие компьютеры используют астрономы, – что сегодня — самая большая проблема для астрономии, – как учёные спасают Землю от астероидов и какой робот сможет отправиться на поиски жизни на других планетах.
Привет, друзья! Мой коллега Марк, ведущий архитектор GlowByte, поделился в новой статье результатами тестирования YMatrix.
Сразу оговорюсь, что это дополнение к предыдущей статье, для того, чтобы сформировать понимание сравнимости результатов различных форков GreenPlum, поэтому акцентировать внимание будем только на YMatrix. Детали по методике тестирования и как были получены результаты для GP6, GP7 и Cloudberry 1.6, можно прочитать в предыдущей статье по ссылке выше.
Добро пожаловать в статью! Комментарии приветствуются.
Эта работа описывает методику отслеживания непреднамеренного наследования паттернов между последовательными версиями языковых моделей.
Проверяем гипотезу, что при обучении новых моделей на предыдущих версиях (распространённая практика ради эффективности) они наследуют не только явные знания, но и «способы мышления», которые ускользают от привычных фильтров и процедур оценки.
Основные элементы:
Двухконтурный анализ
• Внутренний: сравнение геометрии представлений по cosine similarity и Centered Kernel Alignment (CKA) в выровненных пространствах признаков.
• Внешний: оценка переноса фиксированной классификационной «головы» (логистическая регрессия), обученной на одной версии и применённой к другой без дообучения.
Обнаружение событий
• O-TRACE: многомасштабное EMA + ζ-ядро для фиксации согласованных колебаний метрик.
• Импульсы: пороговая детекция резких падений в Δcos и ΔCKA.
Эксперименты на реальных моделях
• Эволюция семейства GPT-2: distilgpt2 → gpt2 → gpt2-medium.
• Переход между архитектурами: GPT-2 → DeepSeek-Coder-1.3B.
• Датасет: SST-2 (анализ тональности).
Ключевые выводы
• Геометрические сдвиги (падения CKA) могут быть значительными, даже когда cosine similarity остаётся высокой.
• Перенос фиксированных «голов» часто сохраняется при смене архитектуры.
• Самые сильные импульсы наблюдаются на межархитектурных переходах.
• «Стиль» и «смысл» могут расходиться независимо в процессе эволюции.
Эволюция моделей включает не только плановые улучшения, но и неконтролируемый перенос паттернов. Это важно для безопасности ИИ: модели могут наследовать и усиливать нежелательные предвзятости и формы поведения, обходящие стандартные фильтры.
Структура (3 папки):
• docs/ — два PDF с полным текстом на русском и английском.
• code/ — code_real_GPT2family.txt: одна ячейка для Colab. Загружает SST-2, извлекает признаки (mean-pool last_hidden_state), выравнивает размерности методом Procrustes, считает cosine/CKA и перенос логистической «головы», сохраняет отчёты (CSV, JSON, TXT).
Код и полный файл с объяснением методологии (на русском) доступны по
Друзья, делюсь новостью, которой горжусь: коллеги запускают премьерный вебинар и впервые подробно покажут DataForge — новую российскую self-service платформу для централизованного управления аналитическими данными.
Я внимательно следила за развитием этого продукта и на некоторых этапах принимала участие в обсуждениях — особенно за те функции, которые лично для меня, как аналитика, принципиально важны: — быстрый сбор и систематизация витрин — возможность видеть и настраивать бизнес-логику — единый подход к расчётам для всех систем без бесконечного ручного труда в Excel
DataForge — это инструмент, который сам собирает и поддерживает Data Mart слой для любых связанных систем. Особенно актуален для тех, кто строит витрины на ClickHouse: автоматическая генерация витрин, согласованность расчётов для всех потребителей данных — и всё это без лишних доработок со стороны разработчиков.
О чём расскажут на вебинаре:
Какие задачи решает DataForge и как ускоряет работу всех подключённых систем, включая BI
Как устроена структура продукта: его место в архитектуре и ключевые компоненты
Демонстрационный атлас Luxms BI: лучшие практики в одном месте
Демонстрационный атлас – удобный набор готовых примеров, который позволяет увидеть и изучить возможности платформы на практике.
Атлас содержит более 40 демонстрационных дэшбордов, каждый из которых показывает конкретную функцию Luxms BI: от стилизации таблиц и условий форматирования до использования write-back, LPE-выражений, расширенного расчетного функционала и многого другого.
Каждый дэшборд – это компактный «мини-кейc». Справа – готовая визуализация, слева – объяснение, из чего она состоит и как настроена. Вы сразу понимаете механику, видите конечный результат и можете повторить его у себя в проекте.
Демоатлас Luxms BI
Все примеры построены на локальных кубах, которые устанавливаются вместе с пакетом. Это значит, что можно изучить структуру данных и свободно экспериментировать с собственными сценариями.
Атлас объясняет, как решить большое количество прикладных задач: как покрасить строки в таблице, как настроить write-back, как выполнить расчет, как скрыть столбец, как настроить действие по клику, как внедрить интерактивные элементы и многое другое.
Готовые решения, собранные в одном месте, делают работу с платформой намного проще, атлас выполняет роль и некого справочника лучших практик, и источника быстрых находок для разработчиков, аналитиков, или тех, кто только начинает знакомство с Luxms BI.
Посмотреть видеообзор и узнать, как получить доступ к демоатласу, можно на нашем сайте.
Делимся записью прошедшего вебинара "Самые необычные применения BI. Решения, которые уже работают".
BI уже давно не только про графики, на его основе создают приложения, интеграционные решения и рабочие инструменты для бизнеса.
Эксперты поделились практическими кейсами использования BI в нестандартных сценариях, а на круглом столе поговорили о тенденциях, качестве данных и о том, почему необычные BI-сценарии становятся новым трендом.
Получился насыщенный вебинар, который вдохновляет искать новые точки применения аналитики!
Показана реализация А/Б-тестов. Рассмотрено использование байесовского моделирования для сравнения конверсий и средних. Дополнительно обсуждаются множественные сравнения и транзакционная выручка на пользователя.
Бизнесу все труднее систематизировать данные. Источников много, хранение — часто локальное, собрать все данные в одно место и подготовить актуальный датасет большая задача.
На вебинаре с экспертами Loginom и VK Cloud расскажем, как связать разрозненные источники в работающую аналитическую систему всего за один день. 15 декабря в 17:00 покажем, как быстро развернуть облачную СУБД и подключить к ней low-code платформу Loginom.
В программе:
🔹 Собираем пазл: архитектура решения на основе облачных баз данных VK Cloud и платформы Loginom. 🔹 Избавляемся от рутины: автоматизируем очистку и подготовку данных (ETL) с помощью low-code инструментов. 🔹 Практические кейсы: внедрение аналитических решений для ритейла, телекома и фарминдустрии. 🔹 Технический воркшоп. 🔹 Ответы на вопросы о внедрении и интеграции.
Официальный глобальный релиз FineBI 7.0 в прямом эфире!
GlowByte приглашает на вебинар FanRuan, на котором будет представлена новая версия платформы FineBI 7.0.
В новом релизе разработчики усилили три основных направления: управление данными, работу с инсайтами через ИИ и гибкость self-service аналитики. FineBI 7.0 помогает бизнес-подразделениям двигаться быстрее, а ИТ – сохранять прозрачность и контроль.
📈 FineBI 7.0 – это:
Быстрая сборка дашбордов – пользователи могут самостоятельно создавать и обновлять аналитические витрины без долгих циклов согласования.
AI-интерфейс на естественном языке – задавайте вопросы обычными словами и находите инсайты, которые раньше были скрыты за сложными выборками.
Единые правила данных и доступов – вся аналитическая среда остается согласованной: структуры данных, права, политики и процессы управления.
Repeater запускает задачи по расписанию. Задачи описываются в toml-файлах и отображаются в веб-интерфейсе.
title = "wiki"
cron = "55 * * * *"
[[tasks]]
name = "wiki_pageviews"
cmd = "python3 ./examples/wiki_pageviews.py --end_date={{.scheduled_dt}}"
[[tasks]]
name = "trigger_outliers_update"
cmd = "python3 ./examples/trigger_outliers_update.py"
Возможен запуск при завершении другой задачи, уведомления о падениях, параллельные этапы. Repeater подойдёт для импорта данных и обновления витрин в хранилище.
Новая услуга GlowByte: внедряем GenBI-решения на ваших данных
Команда Business Intelligence GlowByte расширяет возможности для бизнеса в различных индустриях и объявляет о запуске новой опции – выборе, пилотировании и внедрении GenBI-решений.
Эксперты GlowByte помогут определить потенциал генеративной аналитики под конкретные задачи, разработают критерии оценки решений, выберут оптимальную платформу и LLM-модель. Это позволит бизнесу сократить время на тестирование и минимизировать риски внедрения.
Процесс может занять от одного до трех месяцев. Реализация происходит поэтапно:
анализируются бизнес-процессы и инфраструктура, изучается специфика отрасли, текущие BI-решения, источники данных, архитектура систем и требования безопасности;
адаптируется методология тестирования;
настраиваются критерии оценки под данные и бизнес-задачи, формируются релевантные сценарии использования;
формируется шорт-лист GenBI-решений;
подбираются платформы и LLM-модели;
проводится комплексное пилотирование;
тестируются решения на реальных данных, измеряются производительность и точность результатов;
предоставляются обоснованные рекомендации с детализацией данных по внедрению выбранного решения.
Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность
В блоге Data Sapience, технологического партнера GlowByte, вышла крутая статья технического идеолога Lakehouse-платформы данных Data Ocean Nova Евгения Вилкова.
Недавно на Хабре вышла статья с громким заголовком “Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех”. В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов. По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. Давайте попробуем разобраться, действительно ли это так.
В качестве отступления замечу, что данный эксперимент не имеет ничего общего с массивно-параллельными вычислениями и Lakehouse. Архитектура раздельных вычислений предполагает интенсивный сетевой обмен не только между storage и compute, но и между узлами compute-движка. Как заметили в комментариях к оригинальной статье, с тем же успехом можно было включить в тест и MySQL. Складывается впечатление, что методика тестирования была выбрана исключительно из-за заявленных компетенций в области оптимизатора движка, а запрос – исходя из наличия собственных доработок для обработки схожего случая. Главной же целью было на частном выводе убедить аудиторию в общем выводе. Отдадим должное коллегам – они не скрывают субъективность своего отношения к упражнению.
Заинтригованы? Добро пожаловать в статью Евгения! Комментарии приветствуются.
Всероссийский хакатон для умных и свободных: призовой фонд один миллион рублей
Альфа-Банк приглашает всех, кто умеет не просто писать код, а готов поучаствовать в решении амбициозных бизнес-кейсов: настроить систему RAG для интеллектуальных вопросов и ответов на базе знаний Альфа-Банка или разработать copilot-приложение для клиентов микробизнеса. Хакатон предоставляет молодым специалистам возможность получить практический опыт в современных IT- и аналитических технологиях, поучаствовать в командных соревнованиях, а также построить карьеру в крупной компании.
Что вас ждет?
Борьба за призовой фонд в 1 000 000 рублей и шанс получить фаст-трек в команду Альфа-Банка.
Нетворкингом, где вы сможете поработать с экспертами Альфа‑Банка и получить ценные советы.
Возможность участвовать из любой точки России, а потом приехать на финал в Москву.
Прокачка навыков, погружение в актуальные задачи бизнеса и усиление технических скиллов
Собирай команду и участвуй по одному из двух треков: настройка RAG для вопросов и ответов или разработка copilot-приложения для клиентов микробизнеса. Это уникальный молодёжный хакатон, созданный специально для тех, кто хочет попробовать себя в решении реальных задач бизнеса с помощью передовых технологий.
Записывайся на Альфа-Будущее Хакатон — прокачай свои технические навыки и поработай над созданием реального ИИ-решения для бизнеса. Регистрируйтесь до 6 ноября и стартуйте!
GlowByte приглашает на первый Data Sapience Data Day: дата, программа, регистрация
Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.
Data Sapience Data Day 2025
В программе конференции:
Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка: ▫️ перспективам развития дата-ландшафта; ▫️ влиянию искусственного интеллекта на управление данными; ▫️ оценке готовности рынка (технологии/решения/компетенции); ▫️ вопросам миграции в публичные облака.
Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.
Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.
В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.
▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️ Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.
Первый Data Sapience Data Day: дата, программа, регистрация
Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.
Data Sapience Data Day 2025
В программе конференции:
Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка: ▫️перспективам развития дата-ландшафта; ▫️влиянию искусственного интеллекта на управление данными; ▫️оценке готовности рынка (технологии/решения/компетенции); ▫️вопросам миграции в публичные облака.
Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.
Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.
В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.
▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️ Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.
Новое видео с нашей Конференции Luxms, в котором Вадим Кананыхин, Руководитель отдела управления и аналитики данных ГК «Синтека», рассказал про свои наработки и интересные проекты, а также поделился собственными приемами и «лайфхаками» работы с Luxms BI.
Luxms BI — классный продукт, который нам развязал руки и кардинально увеличил наши возможности в аналитике, построении отчётности, управлении хранилищами данных.
В выступлении:
BI-дэшборд для поставщиков: управленческие данные в одном окне, фильтры и гибкая визуализация под роль пользователя;
Оптимизация процессов: ускорение расчётов за счёт предобработки JSON и автоматического обновления только новых данных;
Рост эффективности: перераспределение ресурсов и фокус на наиболее прибыльных товарных категориях;
Отказоустойчивость и автономность: автоматический контроль сборов данных и уведомления о сбоях в Telegram;
Luxms BI + Luxms Data Boring = инфраструктура доверия: свежие данные, надёжная архитектура и единый источник аналитической правды.
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark — с DataFusion Comet и Impala
Друзья, в блоге компании Data Sapience, партнера GlowByte, вышла новая статья, третья в цикле материалов про нагрузочные испытания вычислительных технологий массивных параллельных вычислений.
В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
Новое видео с нашей Конференции Luxms, в котором Андрей Савичев, директор по данным Fork-Tech,рассказал, как команда провела масштабную миграцию данных при слиянии «Открытие брокер» и «ВТБ» с помощью Luxms BI.
На платформе был построен надежный «ИТ-мост», позволивший в рекордные сроки – всего за два месяца – перенести данные из двадцати различных источников: более двух миллионов счетов и свыше четырехсот тысяч клиентских записей.
В выступлении:
Как BI превратился в платформу миграции: единый контур загрузки, проверки и выгрузки данных;
400 000 клиентских записей и миллионы счетов — как обеспечить качество и синхронность данных в режиме онлайн;
Визуальный контроль через дэшборды: операционные команды наблюдали процесс миграции в реальном времени;
Интеграции BI с внешними сервисами — SMS, почта, биржи — для уведомлений клиентов и непрерывности торгов;
Что позволило провести полную миграцию за 6 месяцев и остановить обслуживание клиентов всего на один день.
GlowByte примет участие в PIX Day – ежегодной конференции лидеров цифровой трансформации, экспертов по умной автоматизации и практиков внедрения инноваций.
Конференция PIX Robotics PIX DAY – 2025 пройдет в Москве 29 октября. Это ежегодное мероприятие для тех, кто строит цифровое будущее бизнеса и промышленности.
На конференции соберутся руководители крупнейших компаний, ИТ-специалисты, аналитики и интеграторы, которые обсудят, как цифровые технологии помогают компаниям быть конкурентоспособными и устойчивыми и как новые продукты PIX открывают возможности для роста. Все об умной автоматизации и ИИ – на одной площадке.
GlowByte выступит спонсором мероприятия и представит свой демонстрационный стенд.
В программе конференции ожидаются:
Реальные кейсы крупнейших компаний;
Выступления топовых экспертов;
Технологическая выставка партнеров;
Живые мастер-классы от экспертов;
Новое в продуктах PIX, roadmap 2026;
Церемония награждения клиентов и партнеров PIX Awards.
📍Москва | 29 октября 2025 | 10:00-18:00
Участие бесплатное для представителей бизнеса, необходимо подтверждение организаторов. Регистрация по ссылке.
Приходите к нашему стенду, будем рады пообщаться! Посетителей стенда также ждет розыгрыш памятных призов от GlowByte.
