Big Data *

Приглашаем вас на вебинар о том, как использование технологий ИИ в BI позволяет ускорить получение нужных данных и упростить их анализ. И тем самым быстрее понять суть происходящего, негативные или позитивные тренды и принять data-driven решения.

Вебинар: Сокращаем путь от данных к бизнес-решениям до секунд. Новое в Easy Report BI

Дата: 4 июля
Время: с 11:00 до 12:00 Мск

Запись вебинара будет доступна всем зарегистрированным! Зарегистрироваться.

В мае текущего года практика Advanced Analytics GlowByte провела студенческую стажерскую программу по направлению «Практический ModelOps». Из 35 кандидатов, претендующих на участие, 12 человек прошли три этапа отбора. В проведении стажировки и оценке проектов принимали участие руководители и специалисты направления ModelOps. 

19 июня Ассоциация больших данных и HFLabs впервые представили результаты тестирования модели оценки рисков повторной идентификации с использованием продукта для обезличивания данных «Маскировщик». Как он работает и что из себя представляет, рассказывали здесь.

При тестировании специалисты-методологи Ассоциации больших данных смоделировали кибератаки с целью получения персональной информации из обезличенных наборов данных, подготовленных с помощью «Маскировщика» для кейсов «Оценка оттока банковских клиентов (Churn Rate)» и «Маркетинговая атрибуция на независимых наборах». По результатам атак был осуществлен расчет рисков повторной идентификации, а также подготовлены рекомендации по адаптации параметров маскирования. 

Ситуация, возникшая вокруг международного проекта с открытым исходным кодом Greenplum, не окажет негативного влияния на развитие продукта Arenadata DB. Об этом официально заявили представители Arenadata — ведущего российского разработчика ПО на рынке систем управления и обработки данных. 

В конце мая статус всех публичных репозиториев GPDB на GitHub был изменён на архивный. Скорее всего, это означает, что разработка Greenplum в рамках open source приостановлена. А дальнейшее развитие проекта силами нового правообладателя проекта — компании Broadcom — будет происходить в рамках коммерческой версии VMware Tanzu Greenplum. 

В Arenadata заявили, что возникшая ситуация не является неожиданностью. Компания была готова к подобному сценарию и заранее обеспечила возможность разработки продукта Arenadata DB (ADB) на основе технологии Greenplum в рамках собственного форка. 

30 мая финалисты хакатона X5 Tech AI Hack выступили с питчингами своих проектов на антиконференции X5 Future Night, где обсуждались искусственный интеллект, роботизация и успешные кейсы применения этих технологий в бизнесе.   

На хакатоне участники решали задачи по обработке естественного языка – разрабатывали алгоритм для замены в тексте чувствительных данных и определения галлюцинаций у генеративной нейросети. Финалисты продемонстрировали превосходные умения работать с ИИ, Big Data и большими языковыми моделями. Делимся презентациями команд и записью защиты кейсов.

Data Fest — крупнейшая в Евразии бесплатная конференция, объединяющая исследователей, инженеров и разработчиков, связанных с data science.

16 июня 2024 года выходит новая версия всеми любимой библиотеки. NumPy 2.0.0 — первый значительный релиз с 2006 года. Релиз включает множество новых функций и изменений как в Python, так и в C API.

В числе новых функций NumPy 2.0 новый динамический строковый тип данных и модуль numpy.strings с высокопроизводительными функциями для строковых операций. Также добавлена поддержка float32 и longdouble во всех функциях numpy.fft, а в основном пространстве имен numpy теперь поддерживается стандарт API массивов.

Привет, друзья! Присоединяйтесь к Fine Talks – онлайн-встрече дискуссионного клуба, где мы, Business Intelligence GlowByte, вместе с приглашенными экспертами делимся опытом и лайфхаками, разбираем конкретные кейсы и даем персональные рекомендации!

На грядущей встрече мы сосредоточимся на визуализации данных в FineBI, чтобы вы могли получить максимальную пользу от этого инструмента. 

Архитектура LSTM была предложена в 1997 году немецкими исследователями Зеппом Хохрайтером и Юргеном Шмидхубером. С тех пор она выдержала испытание временем: с ней связано много прорывов в глубоком обучении, в частности именно LSTM стали первыми большими языковыми моделями.

Однако появление трансформеров в 2017 году ознаменовало новую эру, и популярность LSTM пошла на спад. Трансформеры оказались более масштабируемой архитектурой, к тому же способной хранить гораздо больше информации.

На днях, спустя 27 лет, создатели LSTM предложили улучшение своей технологии – xLSTM. Благодаря нововведениям xLSTM теперь может конкурировать с трансформерами и по перформансу, и по масштабируемости.

С 17 по 30 мая проводим хакатон X5 Tech AI Hack. Приглашаем экспертов по Data Science, ML-специалистов, разработчиков на Python и всех остальных, кто хочет прокачать свои знания о создании ИИ. У участников будут 10 дней, чтобы избавить нейросеть от галлюцинаций или научить её работать с конфиденциальными данными. Призовой фонд от X5 Tech – 2 000 000 рублей. 

В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт.

Сейчас, спустя 67 лет, исследователи представили альтернативу MLP – новую архитектуру нейронной сети, получившую название Kolmogorov-Arnold Networks (KAN), в которой реализовано перемещение активаций на «ребра» сети.

Мы добавили бесплатный вводный модуль к курсу «Python для анализа данных», чтобы вы могли познакомиться с площадкой и направлением. Модуль состоит из теоретической и практической части — в конце вы сможете запустить пример кода в интерактивном тренажёре.

В теоретической части вы узнаете:

— Как современная аналитика связана с программированием
— Почему нельзя (или можно?) просто использовать Google Таблицы
— Почему именно Python, а не любой другой язык

У вас будет возможность проверки и тренировки полученных знаний. После прохождения теории вы перейдёте к симулятору: в нём вы будете запускать код и смотреть результат его выполнения.

Если решите продолжить обучение, вы пройдёте полный курс за 3 месяца, учёбе нужно будет уделять ≈10 часов в неделю. Более 50% обучения посвящено практике, а если захотите, сможете выполнить в тренажёре больше практических заданий, чем нужно. В конце курса вы проанализируете реальные данные интернет-магазина и добавите проект в портфолио.

Вы научитесь:

— Собирать, обрабатывать, анализировать и визуализировать данные с помощью Python
— Работать с библиотеками Pandas и NumPy
— Проводить исследовательский анализ и применять статистические тесты
— Знать основные модели и алгоритмы машинного обучения для работы с данными

→ Узнать о курсе подробнее и начать учиться бесплатно 

Компании «СИГМА» и «ИнфоТеКС» завершили первое в РФ внедрение интеллектуальной системы учета электроэнергии (ИСУЭ), полностью соответствующей актуальным требованиям к импортозамещению и информационной безопасности. Система рассчитана на взаимодействие в режиме реального времени с более чем 16 млн точек учета. К работе в ней уже перешли дочерние общества ПАО «Интер РАО» в 11 регионах России.

Обмениваться опытом и делиться экспертизой — то, что всегда было частью культуры ИТ. В нашей сфере это почти базовая потребность: всё меняется так быстро, что это единственный способ оставаться в актуальной повестке и делать яркие, полезные и интересные вещи. 

У Сравни тоже всегда была потребность собирать лучшие практики и делиться знаниями, и сейчас мы делаем следующий шаг  —  запускаем свой ИТ-подкаст. 

В Sravni Podcast будем обсуждать технологии, процессы и данные, делиться опытом и реальными историями от ИТ-инженеров, звать настоящих экспертов и задавать им кучу вопросов. Короче — будем говорить о том, что волнует большинство из нас, и иногда шутить. Присоединяйтесь! 

Бурный рост эффективности ML систем провоцирует огромное количество дискуссий. 25 апреля X5 Tech приглашает экспертов в Data Science, чтобы обсудить, как с помощью новых методов и подходов победить неэффективные процессы.

Привет! 16 апреля в 18:00 Data People by GlowByte приглашает тебя на пикантный митап про данные!

Наши друзья, занимающие руководящие позиции в Data-подразделениях крупнейших российских ФинТех-компаний, поделятся опытом реализации проектов по миграции платформ данных.

С каждым годом данных становится больше, а ориентироваться в них сложнее. X5 Tech совместно с сообществом dbt & modern data stack решили обсудить на митапе метод решения этой проблемы — каталог данных. Data lineage, data governance — красивые понятия, результатом внедрения которых становился не всегда используемый, не всегда удобный сервис от вендора или с просторов открытого кода.

На данный момент подразделения по работе с данными достигли достаточной зрелости, а их клиенты — понимания, что требуется от каталога. Предлагаем собраться 11 апреля в онлайн и офлайн форматах и послушать про успешные внедрения последних лет открытых каталогов данных на базе OpenMetadata и DataHub с месячной аудиторией от десятков специалистов машинного обучения до тысяч бизнес пользователей.

28 марта в 19:00 присоединяйся к нам в офисе Lamoda или онлайн, чтобы послушать выступления, обсудить ML-эксперименты и готовые решения под капотом ведущей Fashion & Lifеstyle-платформы в России.

Поговорим о том, как наши модели адаптируют каталог под индивидуальный стиль пользователей, отвечают на сложные запросы в поиске, подбирают образы на уровне стилистов и рекомендуют подходящие размеры.

Приглашаем в офис Lamoda Tech, чтобы пообщаться вживую за вкусными закусками и напитками, а еще поиграть в настольный теннис и кикер.

Business Intelligence GlowByte приглашает на онлайн-конференцию “Fine Day online: Истории цифровизаторов”. Это уникальное мероприятие для цифровых инноваторов! Присоединяйтесь к нам, чтобы узнать истории успеха от ведущих цифровизаторов, включая представителей АвтоВАЗа, министра здравоохранения Калининградской области, эксперта в области построения BI и компании ПИК. 

Релиз Visiology 3.6 — первый в 2024 году. Он включил в себя ряд обновлений, которые позволяют пользователям повысить эффективность настройки визуализаций и добиться новых результатов в вопросах исследования данных. Кроме этого были улучшены механизмы авторизации и увеличена безопасность среды запуска платформы.