Классификация методов Data Mining

Все методы DM можно разделить на две большие группы по принципу работы с исходными общими данными

1) Непосредственное использование данных или сохранение данных.

В этом случаи исходные данные хранятся в явном детализированном виде и непосредственно используются на стадиях прогностического моделирования и анализа исключения.

Проблема этой группы методов: при их использовании могут возникнуть сложности анализа сверх больших баз данных.

Методы этой группы: кластерный анализ, метод ближайшего соседа, метод к-ближайшего соседа, рассуждения по аналогии.

2) Выявление и использование формализованных закономерностей или дистилляции шаблонов.

По технологии дистилляции шаблонов один образец шаблонов информации извлекается из исходных данных и преобразуется в формальный вид в зависимость от метода. Это выполняется на стадии свободного поиска.

Методы этой группы: логические методы, методы визуализации, методы кросс-табуляции, методы основанных на уровнях.

Логические методы включают:

· Нечеткие запросы

· Символьные правила

· Деревья решений

· Генетические алгоритмы

Методы на основе уравнений выражают закономерности в виде математических уравнений. Они могут работать только с численными переменными, переменными других типов нужно закодировать.

Основные методы

 

Статистические Нейронные сети

 

К статистическим относятся: Корреляционный анализ, гармонический анализ, выявление тенденции динамических рядов.

Рассмотрим другой вид классический DM

 

Data Mining

Статистические Кибернетические

(основанные на использовании усредненного

накопленного опыта, который отражается в

ряд ретроспективных данных)

Статистические методы DM – эти методы представляют собой 4 взаимосвязанных раздела:

1. Предварительный анализ природы статистических данных:

 

v Проверка гипотез стационарности

v Проверка гипотез нормальности

v Проверка гипотез независимости

v Проверка гипотез однородности

v Оценка вида функции, распределение ее параметров.

 

2. Выявление связей и закономерностей:

 

v Линейный анализ

v Регрессионный анализ

 

3. Многомерный статистический анализ:

 

v Кластерный анализ

v Дискриминантный анализ

v Компонентный анализ

v Факторный анализ

4. Динамические модели и прогноз на основе временных рядов