Верификация прогнозов

Важной задачей в рамках прогнозирования является определение степени точности, достоверности, обоснованности прогноза. Прогнозирование, как правило, связано с наличием элементов неопределенности в условиях задачи. Соответственно, вопрос о качестве решения неотделим от понятий точности и достоверности прогноза. Особенно это касается прогнозирования в таких областях, как социально-экономическое развитие. Исходная неопределенность здесь настолько велика, что почти всегда требуются специальные исследования и прогнозисту приходится самому разрабатывать свои приемы, отвечающие конкретным условиям задачи прогноза.

Для обеспечения точности и достоверности результатов прогнозирования необходима проверка адекватности или верификация прогноза.

Верификация прогноза - совокупность методов и процедур, направленных на определение достоверности - вероятности осуществления прогноза и его точности - ожидаемой величины отклонения прогнозируемых показателей от реальных.

Абсолютная верификация прогноза, т.е. установление степени его соответствия действительному состоянию объекта в прогнозируемом будущем, практически возможна лишь к завершению периода упреждения. Это особая задача, которая выходит за рамки собственно прогнозирования. Но уже на заключительных стадиях разработки прогноза возможна и желательна относительная (предварительная) верификация — определение степени соответствия прогноза требованиям современной науки, его достоверности — вероятности осуществления, предсказанного для заданного доверительного интервала точности, обоснованности (в смысле соответствия теории и практики).

Опыт показывает, что верифицированные таким образом прогнозы не только имеют очень высокую степень оправдываемости (до 95—96% значений наиболее вероятного тренда), но, главное, служат надежной ориентирующей информацией для управления, дают значительный экономический и политический эффект в смысле оптимизации принятия решений и тем самым полностью оправдывают затраты сил и средств на их разработку. Таким образом, процедура верификации желательна и обязательна.

Важно четко разграничить категории обоснованности и истинности (прогноза).

Обоснованность научной информации – это уровень состояния знаний и качество научного исследования. Если новая научная информация опирается на основательную научную теорию, эффективность которой в отношении аналогичных объектов исследования доказана, если эта информация получена в результате достаточно надежных методов, процедур, операций научного исследования (проверенного на других объектах), то она считается вполне обоснованной еще до подтверждения ее практикой.

Критерием истинности научной информации, как известно, является практика, которую, однако,  нельзя понимать лишь как чисто эмпирический опыт. Более широкое понимание практики включает, прежде всего, общественно-историческую практику развития человеческого общества в целом. Поэтому проблема истинности прогноза не может ограничиваться возможностью «сиюминутной» практической проверки, должна связываться с реальными тенденциями развития человеческого общества.

В относительно простых случаях роль верификации играют экспертные опросы (оценки).

В более сложных случаях нужны специальные процедуры, например:

1. Разработка прогноза методом, который отличается от уже примененных.

2. Сопоставление прогноза с другим, полученным из других источников информации.

3. Проверка адекватного прогноза в ретроспективе.

4. Аналитическое или логическое исследование прогнозов.

5. Дополнительный опрос экспертов.

6. Опровержение критических замечаний оппонентов.

7. Выявления и учета источников возможных ошибок.

8. Сравнение с мнением компетентного эксперта

Рассмотрим некоторые из перечисленных методов верификации подробнее.

Прямая верификация осуществляется путем повторного проведения прогноза методом, отличающимся от первоначально использованного. Например, прогноз количества продаж товара может быть получен методом прогнозной экстраполяции. Прогноз количества продаж товара может быть получен также на основе регрессионного анализа зависимости объема продаж от цены товара, или от доходов населения, или от других характеристик, оказывающих существенное влияние на объем продаж. Сравнение прогнозов объема продаж, полученных разными методами, позволяет подтвердить или опровергнуть результаты прогноза, разработанного первым, и означает прямую верификацию прогноза. Очевидно наибольший эффект дает сопоставление результатов таких расчетов с параметрами, полученными на основе применения методов логического моделирования, экспертных оценок и других подходов. При этом, значительное расхождение величин определяемых параметров указывает на наличие ранее не учтенных при моделировании зависимостей, что позволяет при совместном последовательном (пошаговом) анализе существенно повысить качество и точность прогнозов.

Косвенная верификация результатов прогноза представляет собой процесс сопоставления его с результатами прогнозов, полученных из других источников информации. Традиционно под косвенной верификацией понимается сравнение полученных результатов прогноза с заимствованными где-то результатами прогноза для идентичного объекта.

Консеквентная (последовательная) верификация выполняется сравнением результатов оцениваемого прогноза с результатами прогноза, полученного путем логического или аналитического выведения из ранее полученных прогнозных результатов. Так, прогноз объема промышленной продукции региона может быть получен как сумма прогнозных объемов продукции в каждой их отраслей промышленности региона, либо как произведение прогнозных значений численности занятых в промышленности региона на производительность труда, либо как произведение прогнозных значений среднегодовой стоимости основных производственных фондов и фондоотдачи.

Инверсная верификация осуществляется путем проверки адекватности прогностической модели на ретроспективном периоде. Она используется обычно для оценки статистических методов прогнозирования, в ее основе лежит следующее правило: предложенная модель может быть применена для прогнозирования в перспективном периоде, если она дает адекватные результаты при расчетах характеристик уже свершившегося события. В данном случае абсолютная верификация события уже свершившегося служит подтверждением правильности избранной модели, ее параметров и способом относительной верификации для прогнозирования будущих событий.

[1] Роба́стность — свойство статистического метода, характеризующее независимость влияния на результат исследования различного рода выбросов, устойчивости к помехам.