Pull to refresh
  • by relevance
  • by date
  • by rating

Московский Big Data-хакатон 15-16 ноября

Microsoft corporate blog Big Data *Microsoft Azure Hadoop *


Big Data продвигается как тренд нового века. Были СУБД для хранения данных, инструменты обработки; со временем же стало понятно, что «не справляемся», и сейчас мы имеем в руках целый веер средств для обработки и анализа данных. И мы решили сделать хакатон. Hadoop? Мы вам рады. Другое? Не проблема. Хотите узнать, что у нас есть интересного? Регистрируйтесь и приходите 15-16 ноября в Коворкинг 2.0 «Свободное плавание» (Москва), только не забудьте принести нужное.
 
Мы же позвали знатных докладчиков рассказать про:

* Azure/Server HDInsight. Совместимо с Hadoop.
* PowerBI (Excel)
* SQL Server и др.

Так что, пока будет пилиться код (в т.ч. по спецноминации от партнеров), можно послушать доклады и пообщаться со специалистами. Приходите — будет хорошо.
Total votes 24: ↑20 and ↓4 +16
Views 6.4K
Comments 11

Московский хакатон по машинному обучению — 6-7 июня, в офисе Microsoft на Крылатском

Microsoft corporate blog Microsoft Azure Machine learning *Hadoop *


Недавно мы провели отличный хакатон по Big Data – получили практически полный зал участников, которые за два дня сделали несколько интересных решений, использовавших в основном открытые источники данных. Время двигаться дальше – и мы делаем хакатон по машинному обучению. С использованием наших инструментов – Azure Machine Learning (для разработки экспериментов и моделей C#/Python/R), HDInsight (Hadoop в облаке), PowerBI (для визуализации).
Проводим в необычном месте – в нашем московском офисе.
Читать дальше →
Total votes 19: ↑16 and ↓3 +13
Views 5.8K
Comments 5

Отправляем и визуализируем данные с платы Intel Galileo/Edison в облаке Azure

Microsoft corporate blog Microsoft Azure
Привет!
В понедельник мы писали про то, как мы видим Интернет Вещей – с облаком, которое можно использовать для обработки различного рода данных, а также нашей новой операционной системой Windows 10, которую можно установить на Raspberry Pi 2 или Intel Minnowboard. В среду коллега из технологического центра Microsoft рассказал про то, как они делают умный офис. Вчера @shwars написал колонку про то, как подключить Arduino к Raspberry Pi2. Сегодня я расскажу немного о процессе подключения Intel Galileo & Edison к Microsoft Azure, отправке простых данных и их визуализации с помощью сервисов Azure. На следующей неделе – опыте установки Windows 10 IoT на Minnowboard MAX.
Читать дальше →
Total votes 17: ↑16 and ↓1 +15
Views 6.2K
Comments 0

Офис как Платформа, выпуск №3: Power BI. Получаем данные из REST API

Microsoft corporate blog Website development *Open data *Data visualization Development for Office 365 *
Это наш очередной пост в колонку “Office как Платформа”. На этот раз приветствуем Дмитрия Соловьева ( dmitriysolovev), руководителя центра поддержки Office 365 в компании АстроСофт – автора уже нескольких статей по технологии PowerBI. В этой статье Дмитрий расскажет о том, как использовать REST API для получения данных из внешних источников для визуализации и анализа в PowerBI. – Владимир Юнев

Всем привет! На хабре было уже несколько постов на тему Power BI. Если судить по комментариям, то как минимум нескольким читателям актуальна тема получения данных из REST веб-сервисов. Сегодня ее и рассмотрим на примере получения и обработки данных с портала открытых данных г. Санкт-Петербурга (http://data.gov.spb.ru/). Экзекуции будут подвергнуты данные технико-экономических паспортов многоквартирных домов (http://data.gov.spb.ru/datasets/69/). В роли «пыточного инструмента» выступит Excel 2016, в состав которого теперь по умолчанию встроен Power Query.

Введение


В целом Power Query позволяет получать данные из открытых и не очень источников различными способами (рис.1):

  1. Получение данных «Из интернета». В этом случае достаточно указать URL страницы, на которой находятся интересующие нас данные и загрузить их. Из недостатков – стабильно работает только на страницах, использующих табличную вёрстку; приходится писать функции в случае, если данные разбиты на страницы; администраторы сайта могут Вас забанить, если будет слишком много запросов (а они будут, если страниц много);
  2. Получение данных из канала OData. Этот вариант подходит для различных LOB-приложений, которые поддерживают OData;
  3. Написать запрос с нуля, используя возможности языка «M». Как раз этот вариант я и буду использовать в данном случае.
Читать дальше →
Total votes 14: ↑11 and ↓3 +8
Views 16K
Comments 1

Финализирована программа коммьюнити-трека конференции DevCon 2016

Microsoft corporate blog Microsoft Azure Development for IOT *


Привет!

Рады представить уже участникам и еще-не-участникам-но-планирующим финальную программу коммьюнити-трека. В этом году мы решили немного сменить траекторию, и дать голос сообществу. Траекторию сменили, и в коммьюнити-треке за два дня выступит 25 докладчиков. Это люди, занимающиеся совершенно разными проектами, из совершенно разных компаний, разных стран, но всех их объединяет то, что они будут говорить о реальном опыте и у участников конференции будет возможность поспрашивать тех, кто в полях познакомился с той или иной технологией или решением. Под катом — подробности, о чем будет идти речь в треке. Так как на DevCon будет трансляция, а потом и записи, весь этот уникальный контент будет доступен — не пропустите!
Читать дальше →
Total votes 14: ↑12 and ↓2 +10
Views 2K
Comments 0

Приглашаем на Microsoft BI User Group, тема встречи — «работаем с 1С эффективно»

Microsoft corporate blog Data visualization
Консультационная группа АТК и Microsoft приглашает Вас на встречу сообщества «BI User Group», которая пройдет 16 июня в 17:30 в Microsoft Technology Center.

На данной встрече будут рассмотрены несколько практических кейсов по эффективной работе с данными 1С в Power BI, а также сделан обзор полезного функционала нового релиза Power BI.



Спикеры мероприятия:

  • Андрей Терехов – руководитель направления аналитических систем, Консультационная Группа АТК.
  • Александра Чижова – Архитектор Business Intelligence и DataWarehouse решений, Microsoft, Россия.

Все участники встречи получат приглашение на on-line курс по Power BI на русском языке от Консультационной Группы АТК и Microsoft.

Регистрация открыта! Зарегистрироваться сейчас.


Читать дальше →
Total votes 10: ↑5 and ↓5 0
Views 2.1K
Comments 1

Power Query: как перестать бояться функционального программирования и начать работать в расширенном редакторе запросов

Abnormal programming *Data Mining *Functional Programming *
Sandbox
Не так давно наткнулся на статью на Хабре о том, как пользоваться Power BI и как проводить с помощью него Простой план-фактный анализ. Автору огромный респект за труд — материал, действительно, полезный. Более чем достаточно для начинающего. Однако, насколько я понял, для многих работа с PQ/PBI так и заканчивается нажатием на кнопочки в интерфейсе.

В принципе, большинству пользователей этого вполне достаточно для решения несложных задач. Тем более, что это самое большинство, что называется, в быту — непрограммистывообщениразу. Да и, как показала практика, далеко не все знают, что в PQ есть режим расширенного редактирования запросов. А между тем, боязнь (нежелание/неумение) копнуть глубже лишает возможности задействовать весь заложенный функционал PQ/PBI в полной мере. Отмечу хотя бы тот факт, что в интерфейсе присутствуют далеко не все кнопочки, для которых есть функции. Думаю, не сильно ошибусь, если скажу, что функций, пожалуй, раза в два больше, чем кнопок.

Если же вы чувствуете, что для решения имеющихся задач вам недостаточно отведённого в интерфейсе функционала и/или есть время удовлетворить академический интерес, добро пожаловать под кат…


Читать далее...
Total votes 20: ↑20 and ↓0 +20
Views 31K
Comments 5

Машинное обучение в канализации (в хорошем смысле)

Microsoft corporate blog *nix *API *Microsoft Azure Machine learning *
Translation
Сточные воды… Казалось бы, что тут может быть связанного с технологиями. Ну, возможно, какой-нибудь датчик загрязненности. Но, оказывается, нет. Все намного интереснее. Ведь машинное обучение помогает выявлять аномалии и отклонения в системе контроля сточных вод. Подробности под катом!

Читать дальше →
Total votes 16: ↑16 and ↓0 +16
Views 4.9K
Comments 4

PowerAR — объединяем PowerBI и ARKit на поверхности стола

Microsoft corporate blog Development for iOS *API *Development for AR and VR *
Привет, Хабр! Помните недавнюю конференцию Apple, на которой был представлен ARKit? Ой, стоп-стоп, это же блог Microsoft. Хотя, почему бы и нет. Ведь наши партнеры решили поэкспериментировать и совместить новый фреймворк от Apple с возможностями сервиса PowerBi от Microsoft. Подробнее под катом!

Читать дальше →
Total votes 21: ↑20 and ↓1 +19
Views 3.7K
Comments 4

Это пост с докладами и видео по MS SQL Server

ЮMoney corporate blog Designing and refactoring *Microsoft SQL Server *Database Administration *

В июне мы провели митап по Microsoft SQL Server — докладчики из Яндекс.Денег, «Лаборатории Касперского», AwaraIT и SpbDev поделились с коллегами опытом. А теперь выкладываем видео в общий доступ.



Под каждым видео — таймкоды ключевых мест, но советуем смотреть, слушать и внимать целиком.


Data-driven подписки в SSRS


Под катом еще три доклада
Total votes 28: ↑27 and ↓1 +26
Views 7.7K
Comments 8

Сравнение BI систем (Tableau, Power BI, Oracle, Qlik)

Data Mining *Data storages *
Привет, Хабр!

В прошлом году я проводил небольшой конкурс на выбор BI для нашего проекта. Я руковожу направлением BI и аналитики Питерской клинике «Скандинавия». Никакого BI до этого в нашей клинике не было и одна из моих задач была в его создании. Я попросил представителей 4-х известных вендоров (Tableau, Power BI, Qlik, Oracle) провести для меня презентацию. Ниже я собрал в кучу то, что они они мне рассказали про свои системы и краткое субъективное впечатление от каждой из них. Почему субьективное? Потому что я не поставил все системе себе и не проработал с ними пару лет (хотя с Tableau я до этого работал), чтобы составить более полное представление, а скорее опирался на то, как представили мне все менеджеры. Ну а менеджеры бывают разные, презентации бывают разные. Так что смотрите, что вышло:
Читать дальше →
Total votes 15: ↑12 and ↓3 +9
Views 38K
Comments 33

Повторяем когортный анализ. Комплексный подход — Python, SQL, Power BI

Python *PostgreSQL *SQL *Data Mining *Data Engineering *

Добрый день уважаемые читатели! Данная статья является продолжением публикации "Повторяем когортный анализ, выполненный в Power BI, силами Python" (ссылка). Настоятельно рекомендую познакомиться с ней хотя бы бегло, иначе последующее повествование будет вам малопонятным. С момента ее выхода на Хабр прошло достаточно времени. Я основательно пересмотрел методологию решения подобных задач. Первым желанием было просто переписать старый материал, но после недолгих размышлений я пришел к выводу, что более разумным шагом будет оформить наработки в новую рукопись.

Какова основная причина моего "недовольства" Python и Power BI? Язык Python/R c тематическими библиотеками и Power BI (Tableau, Qlik) могут на 70-80% закрыть потребности бизнеса в расчете сложных метрик и построении визуализаций. Но только если речь идет об обработке относительно небольших датасетов с уже агрегированными данными. Если мы говорим о предварительном манипулировании данными в промышленном масштабе, то здесь игра переходит на сторону сервера с БД и используется SQL. Данный момент я не осветил в предыдущей публикации, поэтому решил ликвидировать это упущение здесь.

Читать далее
Total votes 5: ↑5 and ↓0 +5
Views 3.5K
Comments 0

Общий обзор Power Platform

SharePoint CRM systems *Microsoft Azure Development for Office 365 *Cloud services

Microsoft Power Platform - это линейка продуктов, интегрированных между собой, предназначенных для бизнес-аналитики, автоматизации бизнес-процессов, написания приложений на лоу-код языке, либо использования готовых шаблонов приложений.

Читать далее
Total votes 5: ↑4 and ↓1 +3
Views 2.8K
Comments 3