За полтора года студенты Академии MADE смогут бесплатно освоить одну из востребованных специальностей – дата-аналитика, дата-инженера или специалиста по машинному обучению. Заявки принимаются по 31 июля на сайте Академии больших данных MADE.

Программа Академии больших данных MADE рассчитана на ИТ-специалистов с опытом от одного до трех лет, которые хотят построить карьеру в области работы с большими данными. Студенты Академии будут не только изучать теорию, но и решать реальные задачи из практики Mail.ru Group. Они научатся создавать модели машинного обучения для высоконагруженных сервисов, осуществлять прикладной анализ данных, обработку больших данных и естественного языка, работать с компьютерным зрением и распознаванием речи — и многому другому. 

NeurlPS — самая большая в мире и авторитетная среди data scientists конференция по машинному обучению и развитию искусственного интеллекта.

Алексей Пустынников (DS VTB Bank) и Дмитрий Еремеев (DS РОСГОССТРАХ) заняли 2 место в конкурсе Shifts Challenge в рамках NeurIPS 2021 и представили результаты своего исследования в рамках Bayesian Deep Learning workshop.

Конкурс, организованный коллаборацией Oxford Applied and Theoretical Machine Learning Group, Yandex Research и University of Cambridge, был посвящен применению и анализу техник байесовского глубокого обучения в промышленных задачах в условиях изменения распределения данных (distributional shift). Команда приняла участие в треке «Предсказание траекторий движения». Разработанное решение предсказывает наиболее вероятные будущие траектории участников дорожного движения, а также может оценить степень неуверенности модели в своих предсказаниях, что является ключевым элементом для безопасности беcпилотных автомобилей.

Команда заняла 2 место, опираясь на последние достижения в областях Bayesian Deep Learning и Vehicle Motion Prediction, при этом достигла наилучшей точности непосредственно в предсказании траекторий среди конкурентов. Для построения модели организаторы предоставили самый большой на текущий момент набор данных для задачи Motion Prediction, включающий в себя более 1600 часов движения, записанных во время поездок по городам России, Израиля и США в различных погодных условиях.

С результатами исследования можно ознакомиться в статье «Estimating Uncertainty For Vehicle Motion Prediction on Yandex Shifts Dataset» по ссылке arxiv.org/abs/2112.08355.

Соревнование пройдет с 3 февраля по 3 апреля. Участников ждет призовой фонд в размере 2 000 000 рублей.

С помощью инструментов Platforma, а также технологии безопасного метчинга data exchange был сформирован синтетический датасет на обезличенных данных от ВТБ и «Ростелекома». При этом данные генерировались таким образом, чтобы сохранить необходимую для решения задачи информацию о пользовательском поведении.

Участникам необходимо построить решение, способное по последовательности транзакций пользователей ВТБ соотнести их с цифровым следом кликстрима пользователей «Ростелекома». Можно поучаствовать в любой из 3 задач и 2 специальных номинаций:

Задача 1: Matching. По данным транзакций и кликстримов построить обезличенные вектора, чтобы сопоставить и отранжировать пользователей. Контейнерный формат с 1 450 000 рублей призовых.

Задача 2: Puzzle. Разминка с соотнесением пользователей ВТБ и «Ростелекома» в ситуации, когда известны только кандидаты для сопоставления, но не сами пары. Формат разметки тестового файла с 300 000 рублей призовых.

Задача 3: Education. Образовательная задача с предсказанием уровня образования клиента по данным транзакций и кликстрима. Формат разметки тестового файла, с брендированным мерчом в качестве призов. 

Номинация 1: Companion. Номинация за лучшие публичные решения и материалы участников соревнований. Призовой фонд номинации 150 000 рублей.

Номинация 2: Insight. Номинация за интересные и нестандартные решения задач соревнования. Оценивается исследовательская новизна, инженерная эффективность, уникальность подхода. Победителей номинации определяет жюри, призовой фонд номинации: 100 000 рублей.

Привет, Хабра Пипл!

Наши тимлиды из команды BigData в новом выпуске подкаста "Данные люди" встретились с Александром Гусевым, к.т.н., директором по развитию бизнеса Webiomed, ст. научным сотрудником ЦНИИОИЗ Минздрава РФ.

Получился очень интересный и актуальный выпуск в сезон простуд.

Обменялись опытом, поговорили про применение DS в медицине, современные девайсы и этику работы с большими данными.

 Приятного прослушивания!

Уважаемые друзья! Соревнование ВТБ по машинному обучению Data Fusion Contest 2023 в самом разгаре. Уже определены победители первого турнира, которые разделят 600 тыс. рублей. А это значит, что в призовом фонде остались еще 1,4 млн рублей, за которые вы можете побороться до 2 апреля. Попробуйте свои силы в организации атак на модели машинного обучения и защиты от них (Adversarial Machine Learning). Соревнование проходит в турнирном формате и состоит из двух противоположных задач: «Атака» и «Защита».

Проблематика

Sherlock by ThatsWhatSheSayd

Чтобы стать великим сыщиком, Шерлоку Холмсу было достаточно замечать то, чего не видели остальные, в вещах, которые находились у всех на виду. Мне кажется, что этим качеством должен обладать и каждый специалист по машинному обучению. Но тема Feature Engineering’а зачастую изучается в курсах по машинному обучению и анализу данных вскользь. В этом материале я хочу поделиться своим опытом обработки признаков с начинающими датасаентистами. Надеюсь, это поможет им быстрее достичь успеха в решении первых задач. Оговорюсь сразу, что в рамках этой части будут рассмотрены концептуальные методы обработки. Практическую часть по этому материалу совсем скоро опубликует моя коллега Osina_Anya.

Один из популярных источников данных для машинного обучения — логи. Практически в любой строчке лога есть время, а если это web-сервис, то там будут IP и UserAgent. Рассмотрим, какие признаки можно извлечь из этих данных.

От переводчика

Статья

Мы — дата сайентисты, наша работа — анализировать и интерпретировать данные. И данные по covid-19 — повод для волнения. Наиболее уязвимые группы нашего общества, пожилые и малообеспеченные люди, находятся в зоне наибольшего риска, но для контроля распространения и влияния болезни мы все должны изменить наше привычное поведение. Мойте руки тщательно и часто, избегайте скоплений людей, отменяйте запланированные события и не трогайте лицо. В этом посте мы объясним, почему мы беспокоимся — и почему Вы тоже должны беспокоиться. Corona in Brief, написанная Итаном Элли (Ethan Alley) (президент нон-профита, который развивает технологии для уменьшения риска пандемий) — отличная статья, вкратце дающая всю ключевую информацию.

Привет от ODS. Мы откликнулись на идею tutu.ru поработать с их датасетом пассажиропотока РФ. И если в посте Milfgard огромная таблица выводов и научпоп, то мы хотим рассказать что под капотом.

Что, опять очередной пост про COVID-19? Да, но нет. Нам это было интересно именно с точки зрения математических методов и работы с интересным набором данных. Прежде, чем вы увидите под катом красивые картинки и графики, я обязан сказать несколько вещей:

• любое моделирование — это очень сложный процесс, внутри которого невероятное количество ЕСЛИ и ПРЕДПОЛОЖИМ. Мы о них расскажем.
• те, кто работал над этой статьей — не эпидемиологи или вирусологи. Мы просто группа любителей теории графов, практикующих методы моделирования сложных систем. Забавно, но именно в биоинформатике сейчас происходит наиболее существенный прогресс этой узкой области математики. Поэтому мы понимаем язык биологов, хоть и не умеем правильно обосновывать эпидемиологические модели и делать медицинские заключения.
• наша симуляция всего лишь распространение сферического коня в вакууме по территории РФ. Не стоит относиться к этому серьезно, но стоит задуматься об общей картине. Она определенно интересная.
• эта статья не существовала бы без датасета tutu.ru, за что им огромное спасибо.
• мы хотим пригласить других заинтересованных исследователей в ODS.ai и под инициативой ML for Social Good (канал #ml4sg в ODS) вместе улучшать эту модель, чтобы получить опыт и возможность применять ее в будущем. Все интересные задачи, которые мы еще не решили, будут помечены в статье как TODO.

Под катом — результаты нашего марш-броска на датасет.

“Почему бы не разжечь эпидемию” — эта мысль пришла внезапно. Работа из дома при правильной организации может оказаться эффективнее офисной, в результате появляется честное дополнительное время на “подумать” над чем-нибудь еще.

Началось все, конечно, из построения ежедневной визуализации данных о COVID-19 Европейского центра контроля заболеваний. Простой алгоритм ежедневно в полдень рисует графики по обновляемым данным. В графиках привлекают внимание эффективные противоэпидемические действия Китая, когда эпидемия в начале марта пошла на спад. Но эстафету подхватывают страны Европы — сначала Италия (может помните как в конце февраля власти Милана просили вернуться туристов в город, т.к. страдает экономика?), дальше Испания.

Прямо сейчас OTUS открывает набор на новый поток продвинутого курса "Математика для Data Science", в связи с этим хотим пригласить вас на бесплатный вебинар, в рамках которого наш эксперт - Петр Лукьянченко, подробно расскажет о программе курса, а также ответит на интересующие вас вопросы.

«Так ли необходимо разбираться в математике, лежащей в основе алгоритмов машинного обучения? В Python ведь уже есть масса широко доступных библиотек, которые можно без труда использовать для построения моделей!»

Я слышал это от дата-сайентистов любителей не один раз. Это заблуждение распространено куда больше, чем хотелось бы, и продолжает порождать наивные фантазии среди начинающих профессионалов в области обработки данных.

Давайте проясним это раз и навсегда - чтобы стать дата-сайентистом, вам нужно понимать математику, стоящую за алгоритмами машинного обучения. Это неотъемлемая часть роли специалиста по работе с данными, и каждый рекрутер и эксперт в области машинного обучения подтвердит это.

TL;DR

В этой статье мы начнем решать проблему того, как сделать печатные ссылки в книгах или журналах кликабельными используя камеру смартфона.

С помощью TensorFlow 2 Object Detection API мы научим TensorFlow модель находить позиции и габариты строк https:// в изображениях (например в каждом кадре видео из камеры смартфона).

Текст каждой ссылки, расположенный по правую сторону от https://, будет распознан с помощью библиотеки Tesseract. Работа с библиотекой Tesseract не является предметом этой статьи, но вы можете найти полный исходный код приложения в репозитории links-detector repository на GitHub.

Запустить Links Detector со смартфона, чтобы увидеть конечный результат.

Открыть репозиторий links-detector на GitHub с полным исходным кодом приложения.

Вот так в итоге будет выглядеть процесс распознавания печатных ссылок:

Привет! Меня зовут Андрей Лукьяненко. В команде центра искусственного интеллекта МТС  я занимаюсь проектом улучшения разрешения видео (super resolution): например, из видео в формате 1k мы делаем хорошую “картинку” 4k, которую можно показывать на большом экране. 5 лет назад я решил освоить новую профессию: оставил работу в ERP-консалтинге и начал учиться машинному обучению. За это время я не только стал профессионалом в новой области, но и занял 1 место в международном рейтинге Kaggle Notebooks. Зачем я потратил сотни часов на выполнение конкурсных заданий и к чему меня это привело, расскажу в этой статье.

Недавно я завершил прохождение специализации Data Science на платформе Яндекс.Практикум и хочу написать, текст, который был бы полезен мне самому 8 месяцев назад, то есть — обзор содержания учебной программы того, что понравилось или напротив — не оправдало моих ожиданий, а также поделится некоторыми приемами, которые могут сделать обучение эффективнее.

29 июля Ростелеком проведет митап, посвященный искусственному интеллекту, науке о данных и машинному обучению. Встреча будет интересна специалистам в управлении данными, CDO, а также представителям бизнеса и ИТ-специалистам смежных направлений.

Участники узнают, как запускались решения Data Science в Ростелекоме, Газпромбанке, «Леруа Мерлен» и «Утконос online». В конце встречи состоится круглый стол, посвященный промышленным подходам к продвинутой аналитике.

Программа, спикеры и ссылка на регистрацию под катом.

Вместе с группой НЛМК рассказываем, как машинное зрение сделает процесс по перевозке сырья на Стойленском горно-обогатительном комбинате безопаснее и в перспективе позволит сократить издержки на семьдесят миллионов рублей в год.

Всем привет! Основным инструментом оркестрации задач для обработки данных в Леруа Мерлен является Apache Airflow, подробнее о нашем опыте работы с ним можно прочитать тут. А также мы находимся в постоянном поиске инструментов и фреймворков для упрощения работы наших дата сайентистов и дата инженеров. Один из таких инструментов – фреймворк Ray, который позволяет создавать ML пайплайны из DAGов Airflow. В статье от Astronomer подробно рассматривается, как начать его использовать и с его помощью быстро развернуть и обучить модель.

Вот и состоялся наш первый митап для специалистов по работе с данными — LaTech Data Talks. Мы рассказали о том, как устроена команда Data & Analytics в Lamoda и с какими вызовами нам приходится справляться, поговорили про выстраивание процессов в команде продуктовых аналитиков и о том, как наш поиск позволяет найти те самые теплые кроссовки мечты. Делимся презентациями и записями выступлений спикеров.