Инструкция для новичков в Machine Learning с примерами кода и популярными библиотеками
Умение создать собственную модель машинного обучения — это обязательно для дата-сайентистов и хороший дополнительный навык для программистов. Разбираемся на практике, как это сделать.
SonarQube — это инструмент анализа качества кода, написанный на Java. Он выявляет баги, уязвимости, дублирование кода и «запахи кода» (code smells).
SonarQube используют в CI/CD (Continuous Integration, Continuous Delivery — непрерывная интеграция и доставка) для автоматической проверки и улучшения качества кода.
Мир генерирует данные быстрее, чем когда-либо: умные часы, онлайн-покупки, медицинские датчики… Кажется, что данных просто море. Но вот парадокс: для обучения крутых нейросетей данных все равно не хватает. Особенно если вы хотите создать что-то новенькое — например, умного помощника для диагностики и лечения редких болезней или систему контроля качества на заводе, который выпускает уникальные детали. При этом нужно не забыть новые законы о приватности данных — как бы чего не нарушить, работая с личной информацией людей.
В этот момент на помощь приходят синтетические данные. Разбираемся, что это такое, чем они полезны и вредны. Также узнаем, какие технологии помогают их создавать, и заглянем в будущее этого направления.
Каждый, кто пытался построить даже самую простую модель машинного обучения, знает, сколько всего нужно учесть: сбор данных, предобработка, выбор алгоритма, подбор гиперпараметров, оценка качества… Это большой объем рутинных задач, но есть и хорошие новости: их можно автоматизировать. На помощь придет AutoML.
В 2025 году AutoML уже не просто модное слово, а мощный инструмент, который меняет правила игры в Data Science. Разберемся, что это такое, каким бывает и как его использовать, чтобы стать еще круче в ML.
Разберем роль модели MapReduce в составе Hadoop, а также расскажем, как использовать его отдельно и насколько это эффективно.
Как обучать ML-модели на большом объеме данных из разных источников, сохраняя их конфиденциальность? Ответ — федеративное машинное обучение (Federated Learning, или FL). Эксперт простыми словами на примерах рассказывает, что это такое, как работает и в каких областях применяется
Перед началом работы с NLP-моделями текст нужно преобразовать в понятный модели вид. Этот процесс называется векторизацией, и без него невозможно представить современный NLP. По сути, мы превращаем слова, предложения или целые документы в векторы — наборы чисел, которые отражают определенные характеристики текста.
Рассказываем о векторизации подробнее вместе с экспертом.
Кластеризация данных — одна из ключевых задач машинного обучения. Она позволяет группировать объекты в однородные кластеры на основе их характеристик. Один из самых популярных, простых и эффективных методов кластеризации — это алгоритм k-means.
Рассмотрим, как работает k-means, познакомимся с методом локтя для определения числа кластеров и проиллюстрируем их применение на реальных данных с помощью языка программирования Python.
Алгоритмы и модели машинного обучения оценивают по разным параметрам: от них зависит, насколько быстро и точно работает модель. Один из таких параметров — сходимость, или конвергенция алгоритма. Сходимость показывает, насколько быстро модель достигает «оптимума» — точки, за которой меньше ошибается и делает более точные прогнозы.
Фрактальная размерность описывает сложность объектов, которые нельзя измерить обычными параметрами, такими как длина или площадь. Например, снежинка при увеличении не становится проще — каждая ее деталь открывает еще более мелкие элементы. Разбираем, что такое фрактальная размерность и основные методы ее вычисления.
С развитием нейросетей появляются новые вызовы. Один из них — переобучение моделей. Совместно с Александром Рыжковым, ментором Skillfactory, руководителем команды LightAutoML и 4х Kaggle Grandmaster, разбираемся, что такое переобучение, хорошо ли это и как его избежать.
BERT (Bidirectional Encoder Representations from Transformers) — это одна из ключевых моделей обработки естественного языка (NLP), построенная на архитектуре трансформера.
Временной ряд — это последовательность значений, которые протекают и измеряются в определенном временном промежутке. К бытовым примерам временного ряда можно отнести метеорологические наблюдения или колебания цен на рынке.
Аналитикам такие наборы данных позволяют выявлять закономерности, прогнозировать будущее и предлагать бизнесу обоснованные решения. В этой статье разберемся, с чего начать осваивать анализ временных рядов, вместе с Team Lead Data Scientist в VK Максимом Кулаевым.
Книги — отличный способ узнать больше и начать изучать новую профессию. Составили подборку учебников по программированию, которые помогут познакомиться с веб-разработкой.
Метод опорных векторов — это алгоритм машинного обучения, применяемый для задач линейной и нелинейной классификации, регрессии и обнаружения аномальных данных. С его помощью можно классифицировать текст, изображения, обнаружить спам, идентифицировать почерк, анализировать экспрессии генов, распознавать лица, делать прогнозы и так далее. SVM адаптируется и эффективен в различных приложениях, поскольку может управлять многомерными данными и нелинейными отношениями.
Работа в стол, ненормированный график и другие проблемы IT
В интернете только и разговоров о том, как здорово быть айтишником. Большая востребованность и разнообразный рынок вакансий, удаленная работа, высокая зарплата, возможность участвовать в международных проектах…
Но за всем этим мы иногда забываем, что работа в IT — это тоже работа, со своими проблемами и минусами. Рассказываем со слов айтишников, что им не нравится в работе.
Во что поиграть с телефона, если «три в ряд» уже надоели
Если вы устали от бесконечных кликеров и поиска пар — давайте поговорим о чем-то более любопытном. Мобильный гейминг развивается, и сейчас для iOS и Android можно найти множество интересных игр: от классических квестов до MMORPG.
Собрали для вас подборку мобильных игр, которые показались нам особенно интересными. Некоторые из них — платные. Другие доступны бесплатно, но могут содержать рекламу или внутриигровые покупки.
В IT-среде название Kaggle часто ассоциируется только с соревнованиями. Но на самом деле это полноценная социальная сеть и база данных для специалистов в сфере Data Science и ML.
Подготовили обзор, чтобы помочь новичкам разобраться в Kaggle. Разбираем, что площадка предлагает джунам и опытным специалистам, как пользоваться ее функциями и с какими задачами она может помочь.
Вместе с Григорием Стерлингом, лидом команды TTS в SberDevices, разбираемся, как устроена технология, как разрабатывают синтезаторы речи и что нужно знать, чтобы работать в этой сфере.
Рассказываем, зачем обрабатывать данные перед загрузкой в модель, как провести предобработку и какие инструменты использовать.