Как стать автором
Обновить

Phygital podcast — разговариваем о 3D ML и phygital технологиях

Блог компании IT-центр МАИ Работа с 3D-графикой *Машинное обучение *

Всем привет хабровчане и любители 3D ML!

Мы уже ведем на хабре серию заметок про 3D ML, а теперь еще и выпускаем на нашем youtube канале визуальный подкаст "PHYGITAL PODCAST", где освещаем новости из мира ML, 3D и phygital технологий, а также вкратце излагаем суть выпущенных здесь заметок.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 1K
Комментарии 0

PyCon Russia 2021 пройдет 5-6 сентября. Принимаем заявки на доклады

Блог компании IT-People Python *Django *Big Data *Конференции

Этот PyCon Russia проведем в стиле (пост)апокалипсиса :) Предугадать события невозможно, но сейчас подготовка идет полным ходом: программа наполовину собрана, спикеры готовятся, огромная база отдыха на берегу Клязьменского водохранилища забронирована. Смотрите, какие темы ждем в этом году, успевайте подавать заявки и выступите на самой большой и душевной русскоязычной конференции питонистов.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 955
Комментарии 2

Акция на билеты на Pycon Weekend 2022

Блог компании IT-People Python *Конференции

До Pycon Weekend осталось меньше двух недель! Ждем вас на душевной объединяющей конференции по python в горах.

Давайте вместе отвлечемся от всего, что происходит вокруг. Вас ждут 12 крутых докладов, нетворкинг, свежий воздух и красивые пейзажи.

Мы хотим вас поддержать и увидеться, поэтому ПРИХОДИТЕ ВТРОЕМ, А ПЛАТИТЕ ЗА ДВОИХ! Билеты можно купить тут. Для участия в акции просто оплатите два билета или запросите счет на участие двух сотрудников.

P.S. Самолеты в Сочи летают, гостиницы и курорт работают, qr-коды нигде не нужны.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 365
Комментарии 0

Машинное обучение глубокой нейронной сети с подкреплением на tensorflow.js: Трюки

JavaScript *Машинное обучение *
Tutorial
Обучать глубокие нейронные сети с нуля — задача не из простых.

Требуется много данных и времени на обучение, но ускорить процесс могут помочь некоторые трюки, о которых я и расскажу под катом.

Демонстрация прохождения простого лабиринта с использованием трюков. Длительность обучения сети: 1 час 06 минут. Запись ускорена в 8 раз.

Всего голосов 7: ↑6 и ↓1 +5
Просмотры 9.9K
Комментарии 7

Извлечение данных при машинном обучении

Блог компании Plarium Data Mining *Big Data *Машинное обучение *
Перевод
Хотите узнать о трех методах получения данных для своего следующего проекта по ML? Тогда читайте перевод статьи Rebecca Vickery, опубликованной в блоге Towards Data Science на сайте Medium! Она будет интересна начинающим специалистам.


Получение качественных данных — это первый и наиболее важный шаг в любом проекте по машинному обучению. Специалисты Data Science часто применяют различные методы получения датасетов. Они могут использовать общедоступные данные, а также данные, доступные по API или получаемые из различных баз данных, но чаще всего комбинируют перечисленные методы.

Цель этой статьи — представить краткий обзор трех разных методов извлечения данных с использованием языка Python. Я расскажу, как делать это с помощью Jupyter Notebook. В своей предыдущей статье я писала о применении некоторых команд, запускаемых в терминале.
Читать дальше →
Всего голосов 13: ↑11 и ↓2 +9
Просмотры 5.2K
Комментарии 0

Шесть навыков, которые выведут вашу карьеру в Data Science на новый уровень

Блог компании Plarium Data Mining *Big Data *Машинное обучение *Карьера в IT-индустрии
Перевод
Перед вами перевод статьи Genevieve Hayes, Data Scientist с 15-летним опытом работы. Автор рассказывает о том, какие навыки стоит развивать, чтобы значительно увеличить шансы найти работу в Data Science. Чтобы определить эти навыки, она проанализировала 100 вакансий, размещенных работодателями из Австралии, Канады, Великобритании и США.

Читать дальше →
Всего голосов 21: ↑18 и ↓3 +15
Просмотры 16K
Комментарии 9

Машинное обучение с подкреплением через соревновательные нейронные сети

JavaScript *Машинное обучение *
🔥 Технотекст 2020
Tutorial
В классической игре «крестики-нолики» существует возможность представить все вероятные ходы — и никогда не проигрывать. Эту возможность я использовал как метрику своего обучения нейронной сети игре.

Обучение с подкреплением будет полезным для задач с принятием неоднозначного решения, осложнённого из-за множества вариантов выбора действия с различными исходами для каждого.

Конечно крестики-нолики не похожи на сложную игру, чтобы обучать их подкреплением. Однако, она хорошо подходит для освоения методики обучения через соревновательные сети, которая позволит улучшить качество и сократить время на обучение сети.

Далее я опишу общий алгоритм обучения с подкреплением через соревновательные сети в контексте игры крестики-нолики с демонстрацией обученной сети делать “осмысленные” ходы, то есть играть.


Ссылки:
Запись игры обученной сети
Обучить сеть с нуля
Исходники

Также можно ввести предобученную модель из GitHub по нажатию на соответствующую кнопку, чтобы сразу начать испытывать нейронную сеть.
Читать дальше →
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 4.9K
Комментарии 3

ML не в радость: что может провалить проект по внедрению machine learning

IT-инфраструктура *Машинное обучение *

Зарабатывать и экономить с помощью данных хотят все: применение методов ML даже на одном проекте помогает добиться существенной экономии или даже роста выручки. Но чтобы почувствовать эффект и не провалить внедрение, нужно учитывать сложности и не допускать менеджерских ошибок. На примере рассказываем, как сделать так, чтобы алгоритмы машинного обучения не ошибались.

Авторы: эксперты направления аналитических решений ГК «КОРУС Консалтинг» Алена Гайбатова и Екатерина Степанова.

Machine learning – всего 5% от ресурсов проекта. Но усложнение логики ML может привести к увеличению сроков внедрения, а неправильное планирование сбора данных – к неточному анализу, который может стать бесполезным и дорогим. Почему так происходит?

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 1.7K
Комментарии 0

Двумерные тестовые функции для оптимизации

Блог компании SkillFactory Python *Математика *Машинное обучение *
Перевод
Tutorial

Оптимизация функций — это область исследований, где поставлена задача найти некое входное значение [аргумент функции], результат которого — максимум или минимум данной функции. Алгоритмов оптимизации много, поэтому важно развивать алгоритмическое чутьё и исследовать алгоритмы на простых и легко визуализируемых тестовых функциях. В этом туториале мы рассмотрим стандартные двумерные функции, которые можно использовать при изучении оптимизации функций.

Приятного чтения
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 4K
Комментарии 3

HMM: ловим мошеннические транзакции

Платежные системы *Python *Машинное обучение *

Три года я проработал в Сербии iOS-евангелистом - было два профильный проекта и один Machine Learning-овый.

Если вам стало интересно - добро пожаловать в мир HMM.

Читать далее
Всего голосов 15: ↑13 и ↓2 +11
Просмотры 4K
Комментарии 7

Распознавание дорожных знаков

Python *Обработка изображений *Машинное обучение *
Tutorial

Компьютерное зрение — это область компьютерных наук, которая фокусируется на воспроизведении частей сложной системы зрения человека и позволяет компьютерам идентифицировать и обрабатывать объекты на изображениях и видео, а также людей. Ранние эксперименты в области компьютерного зрения начались в 1950-х годах и впервые были коммерчески использованы для различения печатного и рукописного текста в 1970-х годах. Сегодня приложения компьютерного зрения выросли в геометрической прогрессии. В этой статье показан пример как можно распознавать дорожные знаки с помощью компьютерного зрения.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 7K
Комментарии 0

TinyML. Сжимаем нейросеть

Блог компании GlowByte Машинное обучение *

Сейчас перед программистами стоит сложная задача - как внедрить такую громоздкую структуру, как нейронная сеть - в, допустим, браслет? Как оптимизировать энергопотребление модели? Какова цена таких оптимизаций, а так же насколько вообще обосновано внедрение моделей в небольшие устройства, и почему без этого нельзя обойтись.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 3.9K
Комментарии 3

Mushrooms (Machine Learning)

Python *Машинное обучение *
Из песочницы

Всем привет! Рассмотрим данные о грибах, предскажем их съедобность, построим корреляцию и многое другое.

Воспользуемся данными о грибах с Kaggle (исходный датафрейм) с https://www.kaggle.com/uciml/mushroom-classification , 2 дополнительных датафрейма приложу к статье.

Все операции проделаны на https://colab.research.google.com/notebooks/intro.ipynb.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 3.5K
Комментарии 3

Циан.Митап: «MLOps или безопасный воспроизводимый ML для бизнеса»

Блог компании Циан Машинное обучение *

Всем привет!

1 июля в 17:00 приглашаем вас на митап про построение MLOps процессов и обеспечение воспроизводимости ML решений в продакшн.

Вместе с экспертами из Циан, Lamoda, Озон, Одноклассники, МегаФон поделимся опытом развития MLOps платформ, обсудим распространенные фреймворки для управления экспериментами, подходы к выкатке моделей в продакшн, автоматизации переобучения и мониторинга качества моделей. Отдельно затронем тему работы нейросеток (для CV и не только) в продакшн.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.5K
Комментарии 0

Эволюция OLEG AI. Нейросеть, утечки памяти, нагрузка

Python *Машинное обучение *

Прошло чуть больше месяца с релиза OLEG AI - моего бота, который рекомендует посты из пабликов Телеграма.

В этом посте - про новую модель рекомендаций и утечки памяти при использовании PyTorch.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 3K
Комментарии 0

HALF: целостное автоматическое машинное обучение для ПЛИС

Блог компании ЦИТМ Экспонента Алгоритмы *Машинное обучение *FPGA *Инженерные системы *
Перевод

Глубокие нейронные сети (DNN) способны решать сложные задачи в областях, связанных со встроенными системами, таких как обработка изображений и естественного языка. Чтобы эффективно реализовать DNN на конкретной платформе ПЛИС для заданного критерия стоимости, например, энергоэффективности, необходимо учитывать огромное количество параметров проектирования, начиная с топологии и заканчивая конечной аппаратной реализацией. Необходимо учитывать и эффективно исследовать взаимозависимости между различными уровнями проектирования, что делает поиск оптимизированных решений вручную едва ли возможным.

Автоматический, целостный подход к проектированию может значительно улучшить качество реализации DNN на ПЛИС. С этой целью мы представляем метод исследования межслойного пространства проектирования.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 3K
Комментарии 0

Смещение в датасетах

Блог компании МТС Data Mining *Машинное обучение *Natural Language Processing *

Эта статья – дистиллят моих разведочных исследований о смещении в датасетах. В ней я расскажу, что такое смещение и как оно влияет на работу модели. А еще – о том, как мы воспринимаем результаты работы модели и какие есть подходы для борьбы со смещением. Детальнее расскажу о двух способах избавления от него.

Смещение в датасетах (артефакты) – нежелательные взаимосвязи между входными и выходными данными, в частности, между признаками и метками, которые могут эксплуатироваться моделями машинного обучения в качестве опоры при предсказании. Часто они возникают там, где совсем не ожидаешь.

Простой пример смещения можно представить следующим образом: нам нужно определить оскорбительные посты в социальной сети. Высока вероятность, что оскорбительные посты будут содержать нецензурные слова и модель будет опираться на них при принятии решения. Некоторые пользователи могут использовать нецензурные слова и в обычных, нейтральных постах. Те же нецензурные слова могут быть использованы и для выражения позитивных эмоций. В результате, модель, обученная на датасете, в котором мало других примеров: нейтральных или позитивных, будет считать пост оскорбительным, когда в нем есть нецензурные слова. Если тестирование модели провести на похожей тестовой выборке, где нецензурные слова представлены только в оскорбительных постах, то тест подтвердит высокое качество модели. При реальном использовании эта модель будет давать ложно положительные срабатывания. Из-за смещения складывается ложное чувство, что модель работает хорошо, но это происходит ровно до того, как она начинает использоваться в реальности.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 2.3K
Комментарии 1

Как не зарыться в задачах и выстроить работу в команде: наш опыт работы по scrum

Блог компании TalentTech Машинное обучение *Управление разработкой *Управление проектами *Agile *
Recovery mode

Меня зовут Иванов Алексей. Я DS и скрам-мастер в центре ML-экспертизы разработчика HRtech-решений TalentTech. Мы занимаемся обучением моделей для проектов компании. 

Ровно год назад наша команда самоорганизовалась и начала  применять подход SCRUM (будем дальше  — скрам.) Я расскажу о наших внутренних процессах: что произошло, что происходит и, возможно, будет происходить с нами в ближайшем будущем.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 3.9K
Комментарии 3

Масштабируемый подход к частично локальному федеративному обучению

Машинное обучение *
Перевод

Данный текст является авторским переводом поста A Scalable Approach for Partially Local Federated Learning (https://ai.googleblog.com/2021/12/a-scalable-approach-for-partially-local.html).


Примечания: 

Меня довольно сильно интересует тема распределенного обучения ML моделей и в свободное время стараюсь изучать материалы, связанные с этой темой. Материалов не так уж и много, на самом деле, поэтому любая новая публиках на эту тему привлекает внимание. И 16 декабря в блоге Google AI был опубликован новый пост на эту тему, в котором авторы описывают новый подход в Федеративному обучения и я решил перевести его на русский язык, наедаясь, что кому нибудь этот материал так же может показаться интересным.

Для тех, кто не сильно знаком с этом темой, хочется сделать несколько вводных пояснений. Federated Learning (далее FL для сокращения) (так называется совокупность методов обучения ML моделей на распределённых данных) в общем то изначально дразнится Google и поддерживается в наборе инструментов TensorFlow. Почему именно Google? Дело в том, что FL решает следующую проблему: в стандартных подходах ML все базируется на том, что все данные, необходимые для обучения, доступны в рамках единого пространства памяти (централизованы на одном сервере/кластере), но есть много случаем, когда по соображениям конфиденциальности (связанными как с коммерческой тайной, так и с вопросами privacy и защиты пользовательских данных) мы не может все данные скопировать в единое хранилище. Вот FL и предлагает различные методики обучения, которые позволяют натренировать модель без централизации данных. Google с этой проблематикой сталкивается потому что является разработчиком мобильной операционной системы Android, многие функции которой требуют применения ML подходов. В частности, у них есть приложение GBoard - это мобильная клавиатура, которая подсказывает пользователю следующее слово в набираемой фразе, тем самым позволяя экономить время пользователю при наборе текста. Для того, что бы натренировать предсказательную модель, требуется обработка текстов, которые пользователи вводят в рамках переписки в мессенджерах и тп, и тут как раз и возникает проблема работы с приватными данными. Поэтому надо еще раз подчеркнуть, что текст ниже и прочие публикации Google на эту тему следует воспринимать в контексте именно этой проблематики, хотя подобные методы можно применять и в большом количестве других кейсов.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 1.8K
Комментарии 1
1