Хотел бы дополнить вот что:
— агрегация 30% (особенно если построена встроенным визардом) может быть не самое лучшее решение. Уменьшив количество агрегаций, но сделав целенаправленный, продуманный дизайн может в разы увеличить производительность и уменьшить необходимое дисковое пространство.
— собственно, абсолютно согласен с автором, что OLAP решения могут вполне подходить небольшим компаниям. Например, можно использовать Analysis Services, которые включены в MS SQL Server Standard Edition, или использовать open source-ый Mondrian.
— можно также рассмотреть возможность использования Data Mining и сделать анализ данных еще «более умным!»
— было бы интересно узнать как у вас организованы ETL процессы, используете ли вы MS SQL Server Integration Services (ваша иконка для ETL вроде бы именно оттуда)?
Analysis Services предоставляют возможность стоить из данных partitions — самые свежие данные можно напрямую брать из источника, не загружая в куб, тоесть если нужны отчеты по real time данным — можно построить соответствующий дизайн.
Не хотел никого задевать, но тут вопрос в том как определять стабильность. То что все работает — тут конечно не поспоришь, но то количество сервис паков/хот фиксов даже к 2005-им Analysis Services дает понять что продукт все еще активно развивается.
Вы абсолютно правы, а сам куб/агрегированные/промежуточные/кэш данные будут храниться на сервере Microsoft SQL — достаточно «поднять» Analysis Services, при этом, можно, например, установить режим ROLAP, при котором, фактические данные не копируются а берутся непосредственно с MySQL базы, правда скорость MDX запросов при этом очень ухудшается.
Все решения (во всяком случае о которых я знаю) стыкуються с максимально возможными источниками данных, тоесть создать куб вы можете используя SQL Server, Oracle, MySQL, Access, Excel, etc. Другое дело, что сам куб может обслуживать платформа Microsoft SQL Server или Oracle или, например, SAP.
Да, я собственно планировал сделать описание продуктов в следующих публикациях. Если вкратце, то первые реализации OLAP были выпущены копанией Express (потом куплен Ораклом), потом появились Essbase и многие другие. Microsoft начал активно разрабатывать свои OLAP продукты сравнительно недавно (после покупки компании Panorama Software), а первая версия Analysis Services была выпущена вместе с SQL Server 7. Но по настоящему юзабельным этот продукт стал только с выпуском SQL Server 2005 (а стабильно начал работать только в последнем релизе, который идет вместе с SQL Server 2008). О плюсах, минусах и различиях постараюсь рассказать подробнее в скором времени.
Спасибо! Планирую создать OLAP блог и написать еще пару статей о собственно перфомансе современных OLAP систем (думаю много кто будет удивлен :)), основам дизайна складов данных (Data Warehouse) ну и MDX — уникальнейшая вещь.
— агрегация 30% (особенно если построена встроенным визардом) может быть не самое лучшее решение. Уменьшив количество агрегаций, но сделав целенаправленный, продуманный дизайн может в разы увеличить производительность и уменьшить необходимое дисковое пространство.
— собственно, абсолютно согласен с автором, что OLAP решения могут вполне подходить небольшим компаниям. Например, можно использовать Analysis Services, которые включены в MS SQL Server Standard Edition, или использовать open source-ый Mondrian.
— можно также рассмотреть возможность использования Data Mining и сделать анализ данных еще «более умным!»
— было бы интересно узнать как у вас организованы ETL процессы, используете ли вы MS SQL Server Integration Services (ваша иконка для ETL вроде бы именно оттуда)?