Pull to refresh
8
Karma
0
Rating
Ростислав Семенов @Query

BI Developer

Big Data от A до Я. Часть 5.1: Hive — SQL-движок над MapReduce

Big Data *Hadoop *
Tutorial
Привет, Хабр! Мы продолжаем наш цикл статьей, посвященный инструментам и методам анализа данных. Следующие 2 статьи нашего цикла будут посвящены Hive — инструменту для любителей SQL. В предыдущих статьях мы рассматривали парадигму MapReduce, и приемы и стратегии работы с ней. Возможно многим читателям некоторые решения задач при помощи MapReduce показались несколько громоздкими. Действительно, спустя почти 50 лет после изобретения SQL,  кажется довольно странным писать больше одной строчки кода для решения задач вроде «посчитай мне сумму транзакций в разбивке по регионам».

С другой стороны, классические СУБД, такие как Postgres, MySQL или Oracle не имеют такой гибкости в масштабировании при обработке больших массивов данных и при достижении объема большего дальнейшая поддержка становится большой головоной болью.



Собственно, Apache Hive был придуман для того чтобы объединить два этих достоинства:

  • Масштабируемость MapReduce
  • Удобство использования SQL для выборок из данных.

Под катом мы расскажем каким образом это достигается, каким образом начать работать с Hive, и какие есть ограничения на его применения.
Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Views 80K
Comments 1

Как я снова затаскивал в таблицу карту

Microsoft corporate blog Microsoft SQL Server *
Снова — потому что как-то больше 2-х лет назад я уже проделывал это упражнение. То был длительный многотрудный процесс:
blogs.technet.com/b/isv_team/archive/2010/01/18/3306462.aspx
blogs.technet.com/b/isv_team/archive/2010/01/21/3307201.aspx
blogs.technet.com/b/isv_team/archive/2010/01/23/3307719.aspx
blogs.technet.com/b/isv_team/archive/2010/01/24/3307804.aspx
С тех пор наука шагнула далеко вперед. В данном посте мы опять-таки загрузим в SQL Server карту нашей необъятной Родины, на этот раз гораздо проще и элегантней благодаря авторам карт, новым возможностям SQL Server и независимым разработчикам, которым всем большое спасибо. Нам понaдобятся:
Читать дальше →
Total votes 25: ↑21 and ↓4 +17
Views 14K
Comments 1

Анализ корзины покупателя средствами MS Excel и MS SQL Server

Data Mining *Microsoft SQL Server *
image

Если вы работаете в сфере торговли, то наверняка задача анализа корзины покупателя (Shopping Basket Analysis) будет вам интересна. Говоря простыми словами, данная задача сводится к тому, чтобы определить какие товары чаще всего покупаются вместе с другими товарами. Обладая этой информацией можно без труда увеличить объемы продаж, сделав выкладку товара в соответствии с результатами анализа, или реализовать систему рекомендаций покупателю при продаже товара.
Читать дальше →
Total votes 11: ↑7 and ↓4 +3
Views 17K
Comments 9

Практическое применение Master Data Services в MS SQL Server 2012

Microsoft SQL Server *
В этой статье я хотел бы поделиться своим первым профессиональным опытом применения Master Data Services (MDS) в MS SQL Server 2012. До недавнего времени я был знаком с этим продуктом, входящим в состав MS SQL Server 2012 (Business Intelligence and Enterprise editions), только в теории и ждал удачного случая, чтобы проверить его на практике, и вот такой случай представился.

image
Читать дальше →
Total votes 1: ↑1 and ↓0 +1
Views 20K
Comments 0

Business Intelligence средствами MS SQL Server 2008 R2 в компании, использующей системы учета 1С

Microsoft SQL Server *
Sandbox
В этой статье я бы хотел описать основные этапы построение системы аналитической отчетности средствами MS SQL Server 2008 R2 в организации, использующей OLTP системы учета на платформе . В статье описан мой первый опыт построения решений Business Intelligence.

image
Читать дальше →
Total votes 25: ↑15 and ↓10 +5
Views 40K
Comments 20

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity