Заключение. При оценке вероятностей катастрофы недостаточно сделать консервативные оценки (используя наиболее экстремальные значения или предположения в моделях

При оценке вероятностей катастрофы недостаточно сделать консервативные оценки (используя наиболее экстремальные значения или предположения в моделях, совместимые с известными данными). Скорее, мы нуждаемся в мощных оценках, которые могут учитывать ошибки в теории, модели и вычислениях. Потребность в этом становится особенно большой при оценке событий с высокими ставками и низкой вероятностью, хотя мы не утверждаем, что низкие вероятности не могут учитываться систематически. В действительности, как указал (Yudkowsky 2008), если бы люди не могли точно предсказывать вероятности менее, чем 10^-6, то организаторы лотереи не могли бы получать доходы от неё.

Некоторые люди высказали озабоченность о том, что наше доказательство может быть слишком сильным: согласно ему невозможно опровергнуть риск чего-либо даже самого простого, как падение карандаша, и поэтому из наших аргументов должна следовать необходимость запретить всё. Это верно, что мы не можем полностью исключить какую-либо вероятность того, что с виду безобидные действия могут иметь ужасающий эффект, но есть ряд причин, по которым мы не должны заботится о всемирном запрете. Основная причина того, что мы не должны заботится о всемирном запрете событий в духе падения карандаша, у которых нет убедительного механизма уничтожения мира, состоит в том, что выглядит в той же мере вероятным, что мир будет уничтожен из-за не бросания карандаша. Ожидаемые потери уравновешивают друг друга. Также следует отметить, что наше доказательство – это просто обращение к мягкой форме теории принятия решений для анализа необычной концепции: для того, чтобы наш метод оказался неверен, должна быть ошибка в самой теории принятия решений, что само по себе было бы большим откровением.

Некоторым читателям может показаться, что наше доказательство полностью применимо к самой этой статье: есть шанс, что мы сделали ошибку в самом нашем доказательстве. Мы полностью согласны, но должны отметить, что эта возможность не сильно изменяет нашего вывода. Предположим, очень пессимистично, что есть 90% шансы, что наше доказательство содержит существенную ошибку и что правильным подходом является принимать выводы отчётов о безопасности без коррекции. Даже если так, наше рассуждение значительно изменит то, как мы рассматриваем эти выводы. Вспомните, например, раздел 2, где отчёт давал вероятность в 10^-9, и мы изменили ее на 10^-6. Если есть хотя бы 10% шанс, что мы были правы в этом, то тогда полная оценка вероятности должна быть изменена на 0.9*10^-9 + 0.1*10^-6 =10^-7, что всё равно представляет весьма значительный сдвиг от исходной оценки, данной в отчёте. Говоря вкратце, даже серьёзные сомнения в достоверности нашего метода не должны сдвинуть оценки больше чем на порядок от тех, кто наш метод предлагает. Более умеренные сомнения будут иметь ещё меньший эффект. (Некоторые ошибки возможны и при переводе это статьи, но они не должны изменить основной вывод – прим.пер.) Основная идея нашей статьи состоит в том, что любая научная оценка риска может дать нам только вероятность опасного события при условии верности основного аргумента. Необходимость оценить надёжность данного доказательства для того, чтобы адекватно взаимодействовать с риском, является особенно необходимой, как было нами показано, в отношении событий с высокими ставками и низкой вероятностью. Мы вывели трёхуровневое разделение между теорией, моделью и вычислениями, и показали, как она может быть более удобна, чем классическое разделение между неопределённостью модели и параметров. Дав исторические примеры ошибок на всех трёх уровнях, мы прояснили это трёхуровневое различие и показали, где могут случаться ошибки в оценке рисков.

Наш анализ рисков был применён к недавним оценкам рисков, которые могут возникнуть в области физики элементарных частиц. В заключении этой статьи мы хотели бы дать несколько самых общих советов о том, как избегать ошибок в доказательствах при оценках рисков с высокими ставками. Во-первых, проверяемость предсказаний может помочь обнаружить ошибочные аргументы. Если оценка риска даёт распределение вероятности для меньших и более обычных катастроф, то это может быть использовано для того, чтобы судить о том, согласуются ли наблюдаемые катастрофы с теорией. Во-вторых, повторяемость результатов выглядит наиболее эффективным способом удалить многие ошибки. Мы можем значительно увеличить достоверность вычислений, если другие люди независимо их повторят. Если другие теории и модели независимо предсказывают тот уже уровень риска, то наша уверенность в этих результатах должна возрасти, даже если один из результатов ложен, другие сохраняют свою силу. Наконец, мы можем уменьшить вероятность бессознательной предубёждённости, разделив работу по оценке риска на две группы экспертов: на «синюю» группу, которые будут пытаться дать объективный анализ, и «красную группу» «адвокатов дьявола», которые будут стремиться продемонстрировать риск, и эти группы будут подвергать друг друга взаимному критицизму, что приведёт к усовершенствованию моделей и оценок (Calogero 2000). Применение таких методов может уменьшить вероятность ошибки на несколько порядков.