Независимо от метода построения моделей их качество оценивается на основе исследования свойств остаточной компоненты e(t), t=1,2,…,N, т.е. величины расхождений на участке аппроксимации (построения модели) между фактическими уровнями и их расчетными значениями. Качество модели определяется ее адекватностью исследуемому процессу и точностью. Адекватность характеризуется наличием определенных статистических свойств у остаточной компоненты e(t), а точность – степенью близости к фактическим данным. Модель считается хорошей со статистической точки зрения, если она является адекватной и достаточно точной.
3.6.1. Проверка адекватности моделей
Если модель не учитывает существенную закономерность исследуемого процесса, ее нельзя применять для анализа и прогнозирования. Модель считается адекватной, если ряд остатков обладает свойствами: независимости уровней, их случайности, соответствия нормальному закону распределения и равенства нулю средней ошибки. Наличие этих свойств проверяется с определенной степенью уверенности и правильности выводов. На практике обычно используется 5%-ный уровень значимости, соответствующий уверенности в 95%.
|
|
1. При проверке независимости (отсутствие автокорреляции) определяется отсутствие в ряду остатков систематической составляющей. Это проверяется с помощью d – критерия Дарбина-Уотсона, в соответствии с которым вычисляется коэффициент d:
. (8)
Вычисленная величина этого критерия сравнивается с двумя табличными уровнями: нижним – d1 и верхним – d2 значение которых зависит от количества наблюдений N, сложности модели (количества параметров) и выбранного уровня вероятности суждения. Если d – коэффициент превышает 2, то это свидетельствует об отрицательной корреляции перед входом в таблицу его величину надо преобразовать: .
Если d – коэффициент (или ) находится в интервале от 0 до d1, то однозначного вывода сделать нельзя и необходимо применять другие критерии.
Вывод о независимости уровней можно сделать на основе первого коэффициента автокорреляции r(1), вычисленного по формуле:
. (9)
Вычисленная величина r(1) сравнивается с табличным значением. Если , то присутствие в остаточном ряду существенной автокорреляции подтверждается.
2. Для проверки случайности уровней ряда предназначен, в частности, критерий поворотных точек, который называется также критерием "пиков" и "впадин".
В соответствии с этим критерием каждый уровень ряда сравнивается с двумя соседними с ним. Если он больше или меньше их, то эта точка считается поворотной. Далее подсчитывается сумма поворотных точек p. В случайном ряде чисел должно выполняться строгое неравенство:
|
|
. (10)
3. Соответствие ряда остатков нормальному закону распределения важно с точки зрения правомерности построения доверительных интервалов прогноза. Наиболее существенными свойствами ряда отклонений являются их симметричность относительно модели и преобладание малых по абсолютной величине ошибок над большими.
Проверка соответствия ряда остатков нормальному закону распределения может быть осуществлена, в частности, с использованием RS – критерия:
, (11)
где Emax – максимальный уровень ряда остатков;
Emin – минимальный уровень ряда остатков;
S – среднее квадратическое отклонение.
Если значение этого критерия попадает между табулированными границами с заданным уровнем вероятности, то гипотеза о нормальном распределении ряда остатков принимается.
4. Равенство нуля средней ошибки (математическое ожидание случайной последовательности) проверяют с помощью t – критерия Стьюдента:
. (12)
Гипотеза отклоняется, если расчетное значение tp больше табличного уровня t – критерия с (N-1) степенями свободы и выбранным уровнем значимости.
3.6.2. Оценка точности моделей
В статистическом анализе известно большое число характеристик в точности. Наиболее часто в практической работе используются:
· среднеквадратическое отклонение
(13)
· максимальная по абсолютной величине ошибка
; (14)
· относительная максимальная ошибка
; (15)
· средняя по модулю ошибка
; (16)
· относительная средняя по модулю ошибка
; (17)
Эти показатели дают представление об абсолютной величине ошибки модели и о доле ошибки в процентном отношении к среднему значению результативного признака.
При использовании ретропрогноза – подхода, когда несколько последних уровней ряда оставляются в качестве проверочной последовательности – точность прогнозных оценок определяется на основе этих же показателей.
Лучшей по точности считается та модель, у которой все перечисленные характеристики имеют меньшую величину. Однако эти показатели по-разному отражают степень точности модели и потому нередко дают противоречивые выводы. Для однозначного выбора лучшей модели исследователь должен воспользоваться либо одним основным показателем, либо обобщенным критерием.