Ключевые элементы машинного обучения и скрытых пространств

Эта статья послужит введением в представление (embedding), подобие (similarity) и кластеризацию (clustering).

Знать эти ключевые понятия машинного обучения нужно, чтобы понять, что такое скрытое пространство.

• Под представлением понимается представление реального мира в виде данных. Только после представления мы сможем анализировать и использовать в приложениях объекты и явления реального мира.
• Подобие определяет степень сходства между представлениями реального мира и позволяет, например, рекомендовать тот или иной товар.
• Кластеризация позволяет объединить представления реального мира в группы, например, чтобы найти книги по заданной тематике.

За подробностями приглашаем под кат.

Рисунок 1. Модель логистической регрессии. Источник.

Логистическая регрессия использовалась в области биологических исследований ещё в начале двадцатого века. Затем её стали применять во многих общественных науках. Логистическая регрессия применима, когда зависимая переменная (целевое значение) является категориальной. Подробности в иллюстрациях — в материале, а практика — на нашем курсе, посвящённом Data Science.

BitTorrent — протокол загрузки и распространения файлов через Интернет. В отличие от традиционных отношений клиент/сервер, когда загрузчики подключаются к центральному серверу (например, для просмотра фильма на Netflix или загрузки веб-страницы), участники сети BitTorrent, называемые одноранговыми узлами, загружают фрагменты файлов друг с друга. Это то, что делает BitTorrent одноранговым протоколом. Исследуем, как он работает, и создадим собственный клиент, который сможет находить одноранговые узлы и обмениваться с ними данными.

PyTorch обнаружил вредоносную зависимость с тем же именем, что и у библиотеки torchtriton во фреймворке. Это привело к успешной компрометации через вектор атаки путаницы зависимостей. Подробности — к старту нашего курса «Белый хакер».

Зачем это нужно?

Представьте, что вам дали размеченный набор данных, и ваша задача — предсказать новый. Что вы будете делать? Вероятно, сперва вы попробуете обучить модель машинного обучения поиску правил для разметки новых данных. А что дальше? Подробности — к старту нашего флагманского курса по науке о данных.

Рекомендации по стилю для проектов из Google с открытым исходным кодом

Руководство по стилю Go

Принципы стиля

Есть несколько охватывающих всё принципов, которые резюмируют представления о том, как писать читаемый код на языке Go. Ниже перечислены признаки читаемого кода в порядке их важности:

1. Ясность: Назначение и обоснованность кода должны быть понятны читателю.
2. Простота: Код должен выполнять свою задачу самым простым способом.
3. Лаконичность: Код должен содержать как можно меньше воды.
4. Сопровождаемость: Код должен быть написан так, чтобы его легко было поддерживать.
5. Согласованность: Код должен согласоваться с более масштабной кодовой базой Google.

Подробности — к старту курса по Backend-разработке на Go.

Изображение создано автором с помощью искусственного интеллекта

У многих из нас в старших классах отношения с геометрией напоминали несчастную любовь, переходящую в ненависть. Особенно нелегко было, когда речь зашла о координатах и объёме. Даже расчёты с использованием геометрии вызывали отторжение. А впереди ждал бум информационных технологий и шумиха вокруг машинного обучения, ИИ и науки о данных. Всё это побудило многих нырнуть в тёмные глубины математики, где среди прочих дисциплин нас снова ждала геометрия. Информационная геометрия применима в статистическом многомерном обучении (statistical manifold learning), которое недавно зарекомендовало себя в обучении на высокоразмерных наборов данных без учителя. Также информационная геометрия позволяет вычислять расстояние между двумя вероятностными мерами, что находит применение при подборе шаблонов, построении альтернативных функций потерь для обучения нейронной сети, сети распространения убеждений и решении задач оптимизации. Подробности — к старту нашего флагманского курса по Data Science.

Хакатоны в начале IT-карьеры — это шанс решить проблемы, которые нужно решать прямо сейчас, а ещё — реальный опыт командной работы. Будушие заказчики проектов на хакатонах могут проверить свои идеи. И самое главное: хакатоны помогают сделать жизнь людей лучше. Cтуденты SkillFactory на хакатоне прокачивали прототип бионического протеза на оптических датчиках «Моторики» — российского разработчика современных протезов рук. Подробности — к старту флагманского курса по Data Science.

Обучать других способен не каждый: для этого нужны по-настоящему сильная мотивация, желание помогать другим и вдохновляться чужими успехами. Поэтому подбор экспертов на курсы похож на поиск иголки в стоге сена: мы находим не только лучших специалистов в своей сфере, но еще и энтузиастов, готовых делиться знаниями. Таня Асафьева (@Asafyeva_Tanya), тимлид рекрутеров по экспертам, и Настя Постовская (@chanast), старший продюсер направления «Кодинг», рассказывают, как проходит этот процесс и что сотрудничество дает экспертам.

Методы работы с большими данными всё активнее применяются в медицинской сфере: биоинженерии, биостатистике и биоинформатике, медицинской физике и аналитике. Вместе с экспертами онлайн-магистратуры МФТИ «Прикладной анализ данных в медицинской сфере» разбираемся, как Data Science интегрирует медицину будущего в практики настоящего.

Привет, Хабр! Компьютерное зрение и искусственный интеллект — одни из самых востребованных направлений в современном IT. Поэтому мы выбрали именно их для учебного «Межгалактического Хакатона 2021» который организовали НИТУ МИСиС и Zavtra.Online (подразделение SkillFactory по работе с университетами).

В хакатоне были представлены 5 кейсов от разных компаний, и одним из них был кейс от компании IntelliVision — кластеризация изображений транспортных средств. Его и выбрала команда финалистов, описав реализацию подобного проекта от А до Я.

• Light Gradient Boosted Machine (LightGBM) — эффективную реализацию ансамбля стохастического градиентного бустинга с открытым исходным кодом.
• Как разрабатывать ансамбли LightGBM для классификации и регрессии с помощью API scikit-learn.
• Как исследовать влияние гиперпараметров модели LightGBM на её производительность.