Метод верификации | Технология верификации |
Прямая верификация | Разработка модели того же объекта с использованием иного метода прогнозирования |
Косвенная верификация | Сопоставление результатов, полученных с использованием данной модели, с данными, полученными из других источников |
Консеквентная верификация | Верификация результатов моделирования путем аналитического или логического выведения прогноза из ранее полученных прогнозов |
Верификация оппонентом | Верификация путем опровержения критических замечаний оппонента по прогнозу |
Верификация экспертом | Сравнение результатов прогноза с мнением эксперта |
Инверсная верификация | Проверка адекватности прогнозной модели и объекта в ретроспективном периоде |
Частичная целевая верификация | Построение условных подмоделей, эквивалентных полной модели, в типовых для проектируемой системы ситуациях |
Структурная верификация | Сопоставление структур без экспериментальной проверки сопоставления в целом |
|
|
Средства верификации прогнозных моделей. Степень совершенства прогнозов выражается через различные измерители точности прогнозирования.
Точность точечного прогноза в момент ti определяется разностью между прогнозом Pi и фактическим значением Fi прогнозируемого показателя в этот момент времени. Отдельный точечный прогноз не определяет точность конкретной процедуры прогнозирования в целом, то есть потребуется некоторая выборка {(Pi, Fi)},на основе которой рассчитывается значение некоторого измерителя точности прогнозирования.
Классический критерий точности прогнозирования – коэффициент корреляции Пирсона:
(2.1)
Максимальное значение r = 1достигается при наличии линейной связи между Р и F, т.е. когда существуют такие а0 и а1 > 0, что Р =а0+а1F.
Однако при а0 ≠ 0 и а1= 1 прогноз не будет совершенным, хотя корреляция полная и положительная; только при Р = F коэффициент корреляции может характеризовать совершенный прогноз.
Коэффициент ранговой корреляции Спирмэна:
(2.2)
Для этого вычисляются ранги xi и уi элементов соответствующих последовательностей Pi и Fi.
Если несколько элементов из Pi или Fi имеют одинаковые ранги, то им определяется ранг, равный среднему арифметическому значений мест элементов в данной ранжировке. В этом случае последнее соотношение останется верным.
Расчет корректирующих множителей для связей соответственно для последовательностей xi и уi
(2.3)
Где: ti - и li равно числу повторений i-го ранга в соответствующих последовательностях
Вычисляется сумма квадратов разностей рангов
(2.4)
|
|
Если Tx или Ту равно нулю, то коэффициент ранговой корреляции Спирмэна равен:
(2.5)
Коэффициент ранговой корреляции р позволяет характеризовать качественную сторону последовательности прогнозов Pi, а именно способность предсказывать точки поворота. Коэффициент ранговой корреляции можно рассматривать как дополнительный измеритель точности прогнозирования при Pi=Fi и r, близким к 1, так как критерий р инвариантен относительно линейной вариации, причем при р= 1 прогноз может быть далеко не совершенным, так как для этого достаточно лишь совпадения рангов.
Применяются также следующие статистические критерии.
Средняя ошибка аппроксимации:
(2.6)
Средняя квадратическая ошибка прогнозов
, (2.6)
Точность прогнозирования тем выше, чем меньше значения ε или S соответственно. Совершенный прогноз достигается при ε =S=0.
Коэффициент расхождения V (или коэффициент несоответствия)
, (2.7)
Если V =0, то прогноз абсолютно точен (случай «идеального» прогнозирования). Если V =1, то это означает, что прогноз близок к простой (и наивной) экстраполяции. Если V >1, то прогноз дает худший результат, чем предположение о неизменности тенденций исследуемого явления.
В некоторых случаях более важное значение имеют распознающие способности моделей прогнозирования, особенно при краткосрочном прогнозировании
Пример. При прогнозировании выполнения месячных планов предприятий отрасли по особо учитываемой номенклатуре в начале месяца в первую очередь интерес представляет более точная оценка возможности выполнения плана, чем прогнозная информация о величине отклонения от плана. В данном случаецелесообразно использовать следующую меру точности прогнозирования:
(Х.Х)
где q – число подтвержденных прогнозов;
r – число неподтвержденных прогнозов.
Если e =1, то имеет место случай «идеального» прогнозирования.
Существует также метод Тейла, который позволяет оценить ошибку прогноза до наступления прогнозного срока. Расчет ведется по формуле
, (3.38)
где рt и Аt - соответственно прогнозное и фактическое значение тенденции изучаемого показателя конъюнктуры.
Если γ=0, то прогноз абсолютно точен (случай "идеального" прогнозирования), если γ=1, то это означает, что прогноз близок к простой экстраполяции, если же γ>1, то прогноз дает худший результат, чем предположение о неизменности тенденций исследуемого явления.
С помощью указанных показателей проверяется достоверность прогноза, т.е.верификация прогнозов спроса.
Например, для моделей, с помощью которых производился прогноз выработки энергии (см. пример на с.54-57) средняя ошибка аппроксимации равна 2,9 и 3% для первой и второй моделей соответственно. Поэтому можно сказать, что обе модели адекватны и обеспечивают достаточно точный прогноз. Однако можно ещё раз отметить, что прогнозные модели на основе тригонометрической регрессии могут применяться лишь в рядах динамики, где нет явно выраженной тенденции развития. В других случаях предпочтение следует отдавать методу экстраполяции с учетом индексов сезонности.