Технология оперативной аналитической обработки данных OLAP. Основные правила OLAP

В процессе анализа данных, поиска решений часто возникает необходимость в построении зависимостей между различными параметрами. Кроме того, число таких параметров может варьироваться в широких пределах. Недостатки, указав в первую очередь на невозможность «объединять, просматривать и анализировать данные с точки зрения множественности измерений». Измерение – это последовательность значений одного из анализируемых параметров. Например, для параметра время - это последовательность календарных дней, для параметра регион – это список городов. Множественность измерений предполагает представление данных в виде многомерной модели. По измерениям в многомерной модели откладывают параметры, относящиеся к анализируемой предметной области. Одновременный анализ по нескольким измерениям определяется как многомерный анализ. На пересечениях осей измерений располагаются данные, количественно характеризующие анализируемые факты – меры или ресурсы. Это могут быть объемы продаж, выраженные в единицах продукции или в денежном выражении, остатки на складе, издержки и т. п. Таким образом, многомерную модель данных можно представить как гиперкуб

Ребрами гиперкуба являются измерения, а ячейками – меры. Над таким гиперкубом могут выполняться следующие операции: · срез – формируется подмножество многомерного массива данных, соответствующее единственному значению одного или нескольких элементов измерений, не входящих в это подмножество. Наиболее часто используется двумерная проекция куба; · вращение – изменение расположения измерений, представленных в отчете. Например, перестановка местами строк и столбцов отчета, что позволяет придавать ему желаемый вид; · консолидация и детализация – операции, которые определяют переход вверх по направлению от детального представления данных к агрегированному и наоборот. OLAP – технология оперативной аналитической обработки данных, использующая методы и средства для сбора, хранения и анализа многомерных данных в целях поддержки процессов принятия решения. Основное назначение OLAP-систем – поддержка аналитической деятельности, произвольных запросов пользователей аналитиков. 12 правил, определяющих OLAP. 1. Многомерность – OLAP-система должна представлять данные в виде многомерной модели, что упрощает процессы анализа и восприятия информации. 2. Прозрачность – OLAP-система должна скрывать от пользователя реальную реализацию многомерной модели, способ организации, средства обработки и хранения. 3. Доступность – OLAP-система должна предоставлять пользователю единую, согласованную и целостную модель данных. 4. Постоянная производительность при разработке отчетов – производительность OLAP-систем не должна значительно уменьшаться при увеличении количества измерений. 5. Клиент-серверная архитектура – OLAP-система должна быть способна работать в среде клиент-сервер. 6. Равноправие измерений – OLAP-система должна поддерживать многомерную модель, в которой все измерения равноправны. 7. Динамическое управление разреженными матрицами – OLAP-система должна обеспечивать оптимальную обработку разреженных матриц. 8. Поддержка многопользовательского режима – OLAP-система должна предоставлять возможность работать нескольким пользователям совместно с одной аналитической моделью. 9. Неограниченные перекрестные связи – OLAP-система должна обеспечивать сохранение функциональных отношений между ячейками гиперкуба при выполнении любых операций среза, вращения, консолидации или детализации. 10. Интуитивная манипуляция данными – OLAP-система должна предоставлять способ выполнения операций над гиперкубом без необходимости пользователю совершать множество действий с интерфейсом. 11. Гибкие возможности получения отчетов – OLAP-система должна поддерживать различные способы визуализации данных. 12. Неограниченная размерность и число уровней агрегации – OLAP-система должна уметь предоставлять хотя бы 15, а предпочтительно - 20 измерений. Еще шесть правил: 1. Пакетное извлечение против интерпретации – OLAP-система должна эффективно обеспечивать доступ как к собственным, так и к внешним данным. 2. Поддержка всех моделей OLAP-анализа – OLAP-система должна поддерживать все четыре модели анализа данных, определенные Коддом: категориальную, толковательную, умозрительную и стереотипную. 3. Обработка ненормализованных данных – модификации данных, выполненные в среде OLAP, не должны приводить к изменениям данных в исходных внешних системах. 4. Сохранение результатов OLAP – хранение их отдельно от исходных данных. 5. Исключение отсутствующих значений – OLAP-система, предоставляя данные пользователю, должна отбрасывать все отсутствующие значения. 6. Обработка отсутствующих значений – OLAP-система должна игнорировать все отсутствующие значения без учета их источника. Основные особенности включают правила 1,2,3,5,8,10, 13,14. Специальные особенности: 15,16,17,18. Особенности представления отчетов: 4,7,11. Управление измерениями: 6,9,12. OLAP-система включает в себя два основных компонента: · OLAP-сервер – обеспечивает хранение данных, выполнение над ними необходимых операций и формирование многомерной модели. В настоящее время OLAP-серверы объединяют с ХД или ВД. · OLAP-клиент – предоставляет пользователю интерфейс к многомерной модели данных, обеспечивая его возможностью удобно манипулировать данными для выполнения задач анализа. OLAP-серверы скрывают от конечного пользователя способ реализации многомерной модели. Они формируют гиперкуб, с которым пользователи посредством OLAP-клиента выполняют все необходимые манипуляции. Между тем, способ реализации очень важен, т. к. от него зависят такие характеристики, как производительность и занимаемые ресурсы. Выделяют три основных способа реализации: · MOLAP – для реализации многомерной модели используют многомерные БД; · ROLAP - для реализации многомерной модели используют реляционные БД; · HOLAP - для реализации многомерной модели используют и многомерные, и реляционные БД. Достоинствами MOLAP являются высокая производительность и простота использования встроенных функций. Главный недостаток MOLAP – то, что многомерные БД чувствительны к изменениям в многомерной модели. Так, при добавлении нового измерения приходится изменять структуру всей БД. Достоинствами ROLAP являются возможность работы с существующими реляционными БД, более экономичное использование ресурсов и большая гибкость при добавлении новых измерений. Главный недостаток ROLAP по сравнению с многомерными БД – меньшая производительность. Серверы HOLAP применяют подход ROLAP для разреженных областей многомерного пространства и подход MOLAP для плотных областей. Для администраторов, создающих и модифицирующих OLAP-кубы, существует SQL DSO – набор библиотек, содержащих COM-объекты, позволяющие создавать и модифицировать многомерные базы данных и содержащиеся в них объекты (кубы, коллективные измерения и т.д.). Утилита AnalysisManager - приложение, использующее SQL DSO, входит в состав аналитических служб. Приложения, предназначенные для чтения OLAP-данных, при взаимодействии с аналитическими службами обязательно используют библиотеку PivotTableService. Эти библиотеки автоматически устанавливаются вместе с аналитическими службами, а также вместе с MicrosoftOffice. Для взаимодействия с PivotTableService клиентское приложение может использовать OLE DB for OLAP - расширение универсального механизма доступа к данным OLE DB, позволяющее обращаться к многомерным данным, а также ADO MD - библиотеки, представляющие собой надстройку над OLE DB for OLAP и являющиеся COM-серверами для доступа к многомерным данным, удобными для применения в клиентских приложениях. Из других клиентских приложений, не входящих в состав аналитических служб, но часто используемых для просмотра OLAP-кубов, следует назвать MicrosoftExcel. С помощью Excel можно обращаться к серверным OLAP-кубам, получая их двух- и трехмерные сечения на листах рабочих книг Excel в виде сводных таблиц, а также создавать локальные OLAP-кубы в виде файлов на основе реляционных данных, доступных с помощью OLE DB