Оценка качества модели динамики

Независимо от метода построения моделей их качество оценивается на основе исследования свойств остаточной компоненты e(t), t=1,2,…,N, т.е. величины расхождений на участке аппроксимации (построения модели) между фактическими уровнями и их расчетными значениями. Качество модели определяется ее адекватностью исследуемому процессу и точностью. Адекватность характеризуется наличием определенных статистических свойств у остаточной компоненты e(t), а точность – степенью близости к фактическим данным. Модель считается хорошей со статистической точки зрения, если она является адекватной и достаточно точной.

3.6.1. Проверка адекватности моделей

Если модель не учитывает существенную закономерность исследуемого процесса, ее нельзя применять для анализа и прогнозирования. Модель считается адекватной, если ряд остатков обладает свойствами: независимости уровней, их случайности, соответствия нормальному закону распределения и равенства нулю средней ошибки. Наличие этих свойств проверяется с определенной степенью уверенности и правильности выводов. На практике обычно используется 5%-ный уровень значимости, соответствующий уверенности в 95%.

1. При проверке независимости (отсутствие автокорреляции) определяется отсутствие в ряду остатков систематической составляющей. Это проверяется с помощью d – критерия Дарбина-Уотсона, в соответствии с которым вычисляется коэффициент d:

. (8)

Вычисленная величина этого критерия сравнивается с двумя табличными уровнями: нижним – d1 и верхним – d2 значение которых зависит от количества наблюдений N, сложности модели (количества параметров) и выбранного уровня вероятности суждения. Если d – коэффициент превышает 2, то это свидетельствует об отрицательной корреляции перед входом в таблицу его величину надо преобразовать: .

Если d – коэффициент (или ) находится в интервале от 0 до d1, то однозначного вывода сделать нельзя и необходимо применять другие критерии.

Вывод о независимости уровней можно сделать на основе первого коэффициента автокорреляции r(1), вычисленного по формуле:

. (9)

Вычисленная величина r(1) сравнивается с табличным значением. Если , то присутствие в остаточном ряду существенной автокорреляции подтверждается.

2. Для проверки случайности уровней ряда предназначен, в частности, критерий поворотных точек, который называется также критерием "пиков" и "впадин".

В соответствии с этим критерием каждый уровень ряда сравнивается с двумя соседними с ним. Если он больше или меньше их, то эта точка считается поворотной. Далее подсчитывается сумма поворотных точек p. В случайном ряде чисел должно выполняться строгое неравенство:

. (10)

3. Соответствие ряда остатков нормальному закону распределения важно с точки зрения правомерности построения доверительных интервалов прогноза. Наиболее существенными свойствами ряда отклонений являются их симметричность относительно модели и преобладание малых по абсолютной величине ошибок над большими.

Проверка соответствия ряда остатков нормальному закону распределения может быть осуществлена, в частности, с использованием RS – критерия:

, (11)

где E_max – максимальный уровень ряда остатков;

E_min – минимальный уровень ряда остатков;

S – среднее квадратическое отклонение.

Если значение этого критерия попадает между табулированными границами с заданным уровнем вероятности, то гипотеза о нормальном распределении ряда остатков принимается.

4. Равенство нуля средней ошибки (математическое ожидание случайной последовательности) проверяют с помощью t – критерия Стьюдента:

. (12)

Гипотеза отклоняется, если расчетное значение t_p больше табличного уровня t – критерия с (N-1) степенями свободы и выбранным уровнем значимости.

3.6.2. Оценка точности моделей

В статистическом анализе известно большое число характеристик в точности. Наиболее часто в практической работе используются:

· среднеквадратическое отклонение

(13)

· максимальная по абсолютной величине ошибка

; (14)

· относительная максимальная ошибка

; (15)

· средняя по модулю ошибка

; (16)

· относительная средняя по модулю ошибка

; (17)

Эти показатели дают представление об абсолютной величине ошибки модели и о доле ошибки в процентном отношении к среднему значению результативного признака.

При использовании ретропрогноза – подхода, когда несколько последних уровней ряда оставляются в качестве проверочной последовательности – точность прогнозных оценок определяется на основе этих же показателей.

Лучшей по точности считается та модель, у которой все перечисленные характеристики имеют меньшую величину. Однако эти показатели по-разному отражают степень точности модели и потому нередко дают противоречивые выводы. Для однозначного выбора лучшей модели исследователь должен воспользоваться либо одним основным показателем, либо обобщенным критерием.