Pull to refresh
  • by relevance
  • by date
  • by rating

Введение в машинное обучение и быстрый старт с Azure ML

Microsoft corporate blog Data Mining *Microsoft Azure
Translation
Это перевод статьи Рафаля Лукавецки из компании Project Botticelli Ltd, которая предлагает онлайн-обучение и курсы по разным технологиям, в том числе машинному обучению и Power BI и так далее. Оригинал статьи можно найти по адресу
Сервис машинного обучения Azure Machine Learning в настоящее время находится в предварительном публичном тестировании доступном каждому, у кого есть учетная запись Azure (или хотя бы триальный доступ). Если вам интересно почему я всегда был настолько возбужден этой технологией, посмотрите мою обзорную статью, написанную месяц назад или читайте дальше этот пост, в котором я обо всем расскажу.



Если кратко, для того чтобы выполнять задачи аналитики с прогнозированием (predictive analytic) с помощью Azure Machine Learning вам достаточно выполнить следующие шаги:
Читать дальше →
Total votes 38: ↑38 and ↓0 +38
Views 37K
Comments 0

Вышел Python Tools 2.1 для Visual Studio

Python *Visual Studio *Big Data *
Translation
Окончательная версия Python Tools 2.1 для Visual Studio (PTVS) доступна для загрузки! PTVS работает с Visual Studio 2010, 2012 и 2013. Помимо перечисленных ниже новых возможностей, в PTVS 2.1 также добавлена поддержка бесплатных версий Visual Studio Express for Web и Express for Windows Desktop. Разумеется, по-прежнему поддерживаются все полные версии Visual Studio, от Professional и выше.

Веб-разработка на Python в Visual Studio


Веб-разработка является основной темой данного релиза. Теперь в PTVS можно удобно создавать сайты на Django, Bottle и Flask, как с нуля, так и с использованием стартовых шаблонов проектов. Все созданные таким образом сайты можно в один клик опубликовать на веб-сайт Azure.


Читать дальше →
Total votes 39: ↑36 and ↓3 +33
Views 30K
Comments 24

Анализ тональности текста с помощью Azure Machine Learning

Data Mining *Microsoft Azure R *
Tutorial
В этом посте я расскажу, как можно использовать Microsoft Azure Machine Learning для анализа тональности текста, а также с какими проблемами можно столкнуться в процессе использования Azure ML и как их можно обойти.

Что такое анализ тональности хорошо описано в статье «Обучаем компьютер чувствам (sentiment analysis по-русски)».
Нашей целью будет являться построение веб-сервиса, который принимает на вход некоторый текст и возвращает в ответ 1, если этот текст носит позитивный характер, и -1 — если негативный. Microsoft Azure Machine Learning идеально (почти) подходит для этой задачи, так как там есть встроенная возможность опубликовать результаты вычислений как веб-сервис и поддержка языка R — это избавляет от необходимости писать свои костыли и настраивать свою виртуальную машину/веб-сервер. В общем, все преимущества облачных технологий. К тому же, совсем недавно было объявлено, что все желающие могут попробовать Azure ML даже без аккаунта Azure и кредитной карточки — необходим только Microsoft Account.
Читать дальше →
Total votes 35: ↑29 and ↓6 +23
Views 24K
Comments 16

Анализ тональности текста в Excel с помощью Azure Machine Learning и Power Query

Data Mining *Microsoft Azure
Translation
Tutorial
Возможно, вы видели пост Joseph Sirosh на прошлой неделе о возможности опубликовать модели Azure Machine Learning в Azure Marketplace, и что MS уже опубликовало некоторое количество API. Для Excel есть специальный аддон, который может используется для доступа к этим API, но я заметил, что как минимум одно API (Sentiment Analysis API) может использоваться напрямую через Power Query.

Для того, чтобы сделать это, сперва вам необходимо зайти в Azure Marketplace, войти под вашим Microsoft-аккаунтом и подписаться на Lexicon Based Sentiment Analysis API. В документации говориться, что у вас есть 25000 транзакций в месяц бесплатно. API как таковое очень простое: передайте предложение для оценки, и вам в ответ придет оценка от -1 до 1, где 1 означает положительную тональность, а -1 отрицательную. Для примера, выражение «I had a good day» возвращает значение 1:


Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Views 12K
Comments 6

Azure Machine Learning для Data Scientist

Microsoft corporate blog Algorithms *Microsoft Azure Machine learning *
Эта статья создана нашим другом из коммьюнити, Дмитрием Петуховым, Microsoft Certified Professional, разработчиком компании Quantum Art.
Статья — часть цикла про Fraud Detection, остальные статьи можно найти в профиле у Дмитрия.




Azure Machine Learning – облачный сервис для выполнения задач прогнозной аналитики (predictive analytics). Сервис представлен двумя компонентами: Azure ML Studio – средой разработки, доступной через web-интерфейс, и web-сервисами Azure ML.
Типичная последовательность действий data scientist'a при поиске закономерностей в наборе данных с использованием алгоритмов обучения с учителем изображена и подробно описана под хабракатом.
Читать дальше →
Total votes 26: ↑23 and ↓3 +20
Views 20K
Comments 6

Антифрод (часть 4): аналитическая система распознания мошеннических платежей

Payment systems *Data Mining *Microsoft Azure Machine learning *
No Fraud

В заключительной четвертой части статьи подробно обсудим наиболее сложную с технической точки зрения часть antifraud-сервиса – аналитическую систему распознания мошеннических платежей по банковским картам.

Выявление различного рода мошенничеств является типичным кейсом для задач обучения с учителем (supervised learning), поэтому аналитическая часть антифрод-сервиса, в соответствии с лучшими отраслевыми практиками, будет построена с использованием алгоритмов машинного обучения.

Для стоящей перед нами задачи воспользуемся Azure Machine Learning – облачным сервисом выполнения задач прогнозной аналитики (predictive analytics). Для понимания статьи будут необходимы базовые знания в области машинного обучения и знакомство с сервисом Azure Machine Learning.

Что уже было сделано? (для тех, кто не читал предыдущие 3 части, но интересуется)
В первой части статьи мы обсудили, почему вопрос мошеннических платежей (fraud) стоит так остро для всех участников рынка электронных платежей – от интернет-магазинов до банков – и в чем основные сложности, из-за которых стоимость разработки таких систем подчас является слишком высокой для многих участников ecommerce-рынка.

Во 2-ой части были описаны требования технического и нетехнического характера, которые предъявляются к таким системам, и то, как я собираюсь снизить стоимость разработки и владения antifraud-системы на порядок(и).

В 3-ей части была рассмотрена программная архитектура сервиса, его модульная структура и ключевые детали реализации.

В заключительной четвертой части у нас следующая цель…

Цель


В этой части я опишу проект, на первом шаге которого мы обучим четыре модели, используя логистическую регрессию, персептрон, метод опорных векторов и дерево решений. Из обученных моделей выберем ту, которая дает большую точность на тестовой выборке и опубликуем ее в виде REST/JSON-сервиса. Далее для полученного сервиса напишем программного клиента и проведем нагрузочное тестирование на REST-сервис.

Читать дальше →
Total votes 11: ↑10 and ↓1 +9
Views 22K
Comments 6

Обработка русских текстовых данных в Azure Machine Learning

Microsoft Azure Machine learning *
Sandbox
Буквально только что закончился хакатон компании Microsoft по Azure ML. В процессе решения одной из задач потребовалась обработка русскоязычных текстовых данных, причём желательно внутри системы. В итоге, потратив ощутимое время на поиск решения, хочу им поделиться. Надеюсь, что это поможет кому-то сэкономить время и не биться головой в стенку зря.
Читать дальше →
Total votes 13: ↑10 and ↓3 +7
Views 8.2K
Comments 3

Предсказание выживания пассажиров Титаника при помощи Azure Machine Learning

Microsoft corporate blog Data Mining *Microsoft Azure R *Machine learning *
Выражаем большое спасибо за подготовку статьи Кириллу Малеву из компании Merku. Кирилл больше 3х лет занимается практическим применением машинного обучения для разных объёмов данных. В компании решает задачи в области предсказания оттока клиентов и обработки естественного языка, большое внимание уделяя коммерциализации полученных результатов. Закончил магистратуру Болонского университета и НГТУ

Сегодня мы расскажем вам про то, как на практике использовать облачную платформу Azure для решения задач машинного обучения для решения задач машинного обучения на примере популярной задачи предсказания выживших пассажиров Титаника.

Мы всем помним известную картинку про сову, поэтому в этой статье все шаги подробно комментируются. Если вам не понятен любой шаг, вы можете задать вопросы в комментариях.


предсказать вероятность спасения утопающих
Total votes 35: ↑29 and ↓6 +23
Views 25K
Comments 2

Решение задачи кредитного скоринга в студии Microsoft Azure Machine Learning

Python *Microsoft Azure Machine learning *
Sandbox

Резюме


Предсказать, выплатит клиент банка кредит или нет. Задача была предложена на интернет-турнире, устроенном одним банком. Один из примеров ее решения можно найти здесь. Наша цель состоит в построении решения на платформе Microsoft Azure.
Читать дальше →
Total votes 10: ↑9 and ↓1 +8
Views 10K
Comments 2

12.12 в 12:00 приходите на Community DevCamp в Москве

Microsoft corporate blog .NET *ASP *Development for Windows *
Приглашаем вас на Community DevCamp – мероприятие для разработчиков от разработчиков. Мероприятие состоится через месяц после Connect(); //2015 в Нью Йорке и через неделю после виртуального Visual Studio Connect(); в России. Основными докладчиками будут признанные эксперты сообщества, которые расскажут о том, как они видят, используют или планируют использовать самые последние новинки для разработчиков на .NET — .NET Native, Roslyn, кросс-платформенную разработку на ASP.NET, контейнеры Docker, Azure Service Fabric, F# — и многое другое.

Мероприятие проводится при поддержке сообщества MVP.
Докладчики и доклады
Total votes 14: ↑13 and ↓1 +12
Views 2.3K
Comments 2

Хакатон по машинному обучению: Прийти. Обучить модель. Победить

Big Data *Microsoft Azure Machine learning *
Стандартный план любого хакатона

Microsoft Azure Machine Learning Hackathon

В эти выходные пройдет хакатон по машинному обучению, организатором которого является компания Microsoft. У участников хакатона будет 2 дня для того, чтобы крепко не выспаться и сделать мир лучше.

Повествование в этой статье будет проходить в такой же стремительной манере, в какой, как я полагаю, для большинства участников и пройдет хакатон. Никакой воды (если вы не знакомы с Azure ML, то «воду» или какой-то ознакомительный материал лучше все-таки почитать), долгих определений и таких длинных вступлений как это — только то, что вам нужно, чтобы победить на хакатоне.
Level Up
Total votes 12: ↑11 and ↓1 +10
Views 10K
Comments 4

Финальное расписание Community DevCamp (Москва, 12 декабря)

Microsoft corporate blog .NET *ASP *Development for Windows *
Как я уже писал, мы подготовили для вас Community DevCamp – мероприятие для разработчиков от разработчиков. Наконец мы определились с финальной сеткой докладов, если вы планировали подойти к определённому докладу — смотрите обновлённое расписание.

Мероприятие состоится уже на этой неделе, в субботу. Основными докладчики — признанные эксперты сообщества, которые расскажут о том, как они видят, используют или планируют использовать самые последние новинки для разработчиков на .NET — .NET Native, Roslyn, кросс-платформенную разработку на ASP.NET, контейнеры Docker, Azure Service Fabric, F#, C#7.

UPD: Регистрация на Community DevCamp закроется завтра, 9 декабря.
Финальная сетка докладов
Total votes 12: ↑12 and ↓0 +12
Views 1.8K
Comments 0

Доступны записи докладов Community DevCamp

Microsoft corporate blog .NET *C# *Microsoft Azure
Стали доступны записи докладов Community DevCamp – мероприятия для разработчиков от разработчиков.Основные докладчики — признанные эксперты сообщества, которые расскали о том, как они видят, используют или планируют использовать самые последние новинки для разработчиков на .NET — .NET Native, Roslyn, кросс-платформенную разработку на ASP.NET, контейнеры Docker, Azure Service Fabric, F# — и многое другое.

Записи всех докладов доступны по ссылке:
channel9.msdn.com/Events/Community-Dev-Camp/Community-Dev-Camp-2015-Moscow

Мероприятие проводилось при поддержке сообщества MVP.
Записи докладов с возможностью просмотра
Total votes 14: ↑14 and ↓0 +14
Views 5K
Comments 2

Поздравляем студентов с профессиональным праздником

Microsoft corporate blog
Дорогие хабрастуденты!

Мы хотим поздравить вас с профессиональным праздником — днём студента. Пускай учеба приносит вам счастье! По случаю праздника мы начинаем «студенческую неделю», в которой представим вашему вниманию несколько тематических постов для студентов. Их можно будет найти в нашем блоге на хабре или в нашем студенческом блоге.



Когда я был студентом, то Татьянин день был для меня почти таким же приятным праздником, как Новый год. Ведь в это время для многих заканчивается сессия, можно немного отдохнуть на каникулах и с новыми силами браться за новый семестр. А каникулы — это такое прекрасное время для самообразования!

В этот день мне хотелось бы поделиться с вами одной важной мыслью. Мне часто пишут и спрашивают: как лучше научиться программировать, какие языки программирования нужно изучать? И я почти всегда даю один и тот же ответ: бесполезно просто изучать языки по различным урокам, лучше поставить себе какую-то интересную задачу и начать её делать, а со всем остальным — включая языки, которые нужны для её реализации — разбираться по ходу дела. Также как и иностранный язык невозможно хорошо выучить только по книжке, без разговорной практики — так и язык программирования лучше всего изучать «в процессе».

При этом очень важно, чтобы задача была интересной. Ниже я немного подробнее расскажу про то, как можно сделать интересным процесс обучения в области IT (конечно же, с помощью технологий Майкрософт!), а также про небольшой подарок.
Читать дальше →
Total votes 20: ↑16 and ↓4 +12
Views 8.9K
Comments 10

8 апреля — узнайте всё про облако Microsoft Azure за один облачный день

Microsoft corporate blog
Друзья! Вокруг нас всё больше компьютерных систем и сервисов, работающих в интернет, которые должны взаимодействовать с миллионами пользователей. Обеспечение такой высокой нагрузки, отказоустойчивости и надежности стало возможным благодаря использованию облачных технологий. Можно ожидать, что через несколько лет подавляющее число веб-систем будут работать в облаке, и нынешние студенты и школьники столкнуться с необходимостью программировать порталы и сервисы для работы в облаке.

Мы предлагаем всем студентам и школьникам за один день познакомиться с тем, что такое облачные технологии, и самим попробовать на практике различные сценарии использования облака Microsoft Azure — от создания веб-сайта до размещения виртуальной машины с Minecraft-сервером до задач машинного обучения.



В рамках облачного дня, который пройдет 8 апреля 2016 г., вы получите промо-код для использования всех возможностей Microsoft Azure в течение месяца. Мы представим вашему вниманию набор лекций и практических заданий, выполнив которые вы не только познакомитесь с основными возможностями облака, но и получите виртуальный сертификат облачного гуру. Предварительно необходимо зарегистрироваться.
Читать дальше →
Total votes 18: ↑13 and ↓5 +8
Views 5.1K
Comments 8

Примите участие в виртуальном форуме «Данные. Технологии. SQL Server 2016»

Microsoft corporate blog SQL *Microsoft SQL Server *Microsoft Azure


Один самых значимых трендов ближайшего десятилетия – лавинообразный рост объемов данных, который определяет развитие облачных технологий, машинного обучения и интернета вещей. Это требует новых подходов и решений в устоявшихся и широко известных технологиях, таких как реляционные базы данных и бизнес-аналитика.
Подробнее о форуме и докладчиках
Total votes 17: ↑14 and ↓3 +11
Views 3K
Comments 0

Смотрите запись открытия виртуального форума «Данные. Технологии. SQL Server 2016»

Microsoft corporate blog SQL *Microsoft SQL Server *Microsoft Azure


Программа форума разделена на 3 технологические сессии, которые проходили параллельно:

SQL Server 2016: новые стандарты в мире OLTP. Трек посвящен возможностям новой платформы по повышению производительности и безопасности процессов. Так, скорость обработки транзакций на новой платформе выше в 30 раз, а запросов – в 100 раз, по сравнению с дисковыми реляционными базами. Безопасность системы обеспечивается современными инструментами Always Encrypted и Role Level Security.

Бизнес-аналитика: SQL, Power BI, R, Mobile. Обсуждение вариантов практического применения SQL Server 2016 для разработки интеллектуальных приложений, способных анализировать данные и организовывать их в умные системы с помощью технологий бизнес-аналитики BI, а также использования языка R.

Azure: новое поколение решений для аналитики, Big Data& IoT. Доклады об обеспечении автоматизации критически-важных процессов в компании благодаря умным аналитическим системам, машинному обучению и ботам, а также интеграции в облако с возможностью масштабирования ИТ-инфраструктуры.

Виртуальный форум открылся с рассказа об основных трендах в области обработки данных и об инновациях, представленных в продуктах Microsoft, в том числе в новейшем SQL Server 2016
Смотрите запись открытия виртуального форума
Total votes 11: ↑9 and ↓2 +7
Views 2.3K
Comments 5

Смотрите записи докладов виртуального форума «Данные. Технологии. SQL Server 2016»

Microsoft corporate blog SQL *Microsoft SQL Server *Microsoft Azure


Доступны записи докладов форума в высоком качестве на Channel9. Программа форума была разделена на 3 трека, см. описание ниже, доклады из каждого трека доступны по ссылке channel9.msdn.com/Events/data-platform-russia/Virtual-Forum-data-technologies-SQL-Server-2016

SQL Server 2016: новые стандарты в мире OLTP. Трек посвящен возможностям новой платформы по повышению производительности и безопасности процессов. Так, скорость обработки транзакций на новой платформе выше в 30 раз, а запросов – в 100 раз, по сравнению с дисковыми реляционными базами. Безопасность системы обеспечивается современными инструментами Always Encrypted и Role Level Security.

Бизнес-аналитика: SQL, Power BI, R, Mobile. Обсуждение вариантов практического применения SQL Server 2016 для разработки интеллектуальных приложений, способных анализировать данные и организовывать их в умные системы с помощью технологий бизнес-аналитики BI, а также использования языка R.

Azure: новое поколение решений для аналитики, Big Data& IoT. Доклады об обеспечении автоматизации критически-важных процессов в компании благодаря умным аналитическим системам, машинному обучению и ботам, а также интеграции в облако с возможностью масштабирования ИТ-инфраструктуры.
Несколько самых интересных записей под катом
Total votes 10: ↑8 and ↓2 +6
Views 5K
Comments 0

Решаем «Первый открытый контест» от Mail.ru по Data Science с помощью Azure ML (введение в Azure ML)

Programming *.NET *Data Mining *C# *Microsoft Azure
Сейчас проходит соревнование ML Boot Camp, в котором надо спрогнозировать время, за которое будут перемножены 2 матрицы размерами mxk и kxn на данной вычислительной системе, если известно, сколько решалась эта задача на других вычислительных системах с другими размерами матриц (точные правила). Давайте попробуем решить эту задачу регресии не с помощью стандартных инструментов и библиотек (R, Python и panda), а используя облачный продукт от Microsoft: Azure ML. Для наших целей подойдет бесплатный доступ, для которого достаточно даже trial Azure аккаунта. Все, кто хочет получить краткое руководство по настройке и использованию Azure ML в общем и ML Studio в частности на примере решения реальной живой задач, приглашаются под кат.
Читать дальше →
Total votes 12: ↑10 and ↓2 +8
Views 7.4K
Comments 13

Поиск звуковых аномалий

Machine learning *

Попробуем решить задачу поиска аномалий в звуке.
Микрофоны, на данное время, представляют из себя одни из самых распространенных универсальных детекторов. Они маленькие, дешевые, надежные. И они по-умолчанию присутствуют в сотовых телефонах. Их можно использовать практически везде. Поэтому задача обработки звука, не только речи, стоит перед нами прямо сейчас. Это классический пример Low hanging fruit — "низко висящего фрукта". :)


Примеры аномалий звука:


  • Неисправности в работе двигателя.
  • Изменения в погоде: дождь, град, ветер.
  • Аномалии работа сердца, желудка, суставов.
  • Необычный трафик на дороге.
  • Неисправности колесных пар у поезда.
  • Неисправности при посадке и взлете самолета.
  • Аномалии движения жидкости в трубе, в канале.
  • Аномалии движения воздуха в системах кондиционирования, на крыле самолета.
  • Неисправности автомобиля, велосипеда.
  • Неисправности станка, оборудования.
  • Расстроенный музыкальный инструмент.
  • Неправильно взятые ноты песни.
  • Эхолокация кораблей и подводных лодок.
Читать дальше →
Total votes 19: ↑16 and ↓3 +13
Views 7.6K
Comments 2
1