Оценка вероятностей

Предположим, что вы прочитали некий отчёт, который исследует некий возможный риск глобальной катастрофы и в котором делается вывод, что вероятность глобальной катастрофы составляет один к миллиарду. Какую вероятность вы должны приписать тому, что эта катастрофа случится? Мы утверждаем, что прямое использование оценки, даваемое этим отчётом, является наивным. Это связано с тем, что авторы отчёта подвержены ошибкам и их доказательство может содержать скрытые неточности. То, что нам говорится в этом отчёте – это не вероятность катастрофы, а вероятность катастрофы, при условии, что доказательство является верным. Даже если аргумент выглядит непробиваемым, шансы на то, что он содержит критическую ошибку могут быть гораздо выше, чем один на миллиард. В конечном счёте в выборке из миллиарда выглядящих неуязвимыми доказательств наверняка найдутся те, которые содержат скрытые ошибки. В результате наша наилучшая оценка вероятности катастрофы может быть значительно выше, чем даваемая в отчёте[145].

Давайте использовать следующие обозначения:

X = катастрофа происходит,

A = доказательство истинно.

В то время как мы в действительности интересуемся P(X), отчёт даёт нам только оценку P(X | A), поскольку в нём не может приниматься во внимание вероятность его же собственной ошибки[146]. Из аксиом теории вероятностей мы знаем, что P(X) связано с P(X | A) следующей формулой:

(1) P(X)=P(X | A)P(A)+P(X |- A)P(- A).

Дл использования этой формулы для получения P(X) нам потребуются оценки вероятности того, что доказательство верно P(A), и оценка вероятности того, что катастрофа случится, если доказательство неверно P(X |- A).

Очень вряд ли нам удастся получить точные оценки этих вероятностей на практике, но мы увидим, что даже грубых оценок вероятности достаточно, чтобы изменить наш взгляд на определённые калькуляции рисков. Особый весьма распространённый случай касается отчётов, которые утверждают, что Х абсолютно невозможно. Однако, это говорит нам только о том, что X невозможно при условии, что все наши нынешние убеждения верны, то есть что P(X | A)=0. Но из уравнения (1) мы видим, что это полностью согласуется с тем, что P(X)>0, поскольку доказательство может содержать ошибки. Рисунок 1 является простой графической репрезентацией этой основной идеи.

Квадрат слева представляет пространство возможностей, подобное описанному в научном отчёте, где чёрная область соответствует тому, что катастрофа случилась, а белая область – что не случилась. На вертикальной оси обозначены вероятности того, что событие случилось, и что не случилось. В этом представлении игнорируется возможность того, что рассуждение неверно. Чтобы учесть эту возможность, мы можем обозначить её на квадрате справа. Белая и чёрная область сократились пропорционально вероятности того, что доказательство верно, а новая серая область представляет вероятность того, что доказательство неверно. Теперь горизонтальная ось также ортонормированна и показывает вероятность того, что доказательство неверно.

Чтобы продолжить наш пример, предположим, что доказательство, приведённое в отчёте, выглядит очень надёжным, и наша наилучшая оценка вероятности того, что в нём содержится ошибка составляет 1 к 1000 (P(-A)= 10^-3). Другое неизвестный член в уравнении 1, а именно P(X |- A), в общем случае гораздо труднее определить, но давайте предположим, что в нашем примере мы считаем, что крайне маловероятно, что событие произойдёт, даже если доказательство неверно, и мы тоже считаем эту вероятность как 1 к 1000. Уравнение (1) говорит нам, что в этом случае вероятность катастрофы будет в этом случае чуть более одной миллионной – и эта оценка в тысячу раз больше, чем та, которую даёт сам этот отчёт. Это отражает тот факт, что если катастрофа действительно случится, то гораздо вероятнее, что это произойдёт из-за ошибки в отчёте, чем в результате того, что один случай на миллиард будет иметь место.

Ошибочные доказательства нередки. Один возможный способ оценить число больших ошибок в научных статьях – это посмотреть на ту долю их, которые были формально отозваны после публикации. Хотя некоторые отзывы статей связаны с неэтичным поведением, большинство связано с непреднамеренными ошибками[147]. Используя базу данных MEDLINE[148] (Cokol, Iossifov et al. 2007) обнаружили приблизительную частоту отзывов в 6.3*10^-5, но если использовать статистическую модель для оценки частоты отзывов статей, то результат будет между 0.001 и 0.01, если все журналы будут проверены с той же степенью тщательности, как те, которые находятся на высшем уровне. Из этого следует, что P(- A) > 0.001, что делает наши предыдущие оценки весьма оптимистичными. Мы также должны отметить, что доказательство легко может содержать ошибки, даже если статья не была формально отозвана. Отзывы статей происходят только тогда, когда ошибки не тривиальны и незамедлительно становятся очевидны научному сообществу. Таким образом частота отзывов даёт нижнюю границу частоты серьёзных ошибок. Конечно, мы должны помнить, что в различных областях науки могут быть различные частоты отзывов статей и различные частоты ошибок. Например, фундаментальная наука может быть в меньшей степени подвержена ошибкам, чем более прикладные области.

Важно отметить особую связь между данным анализом и рисками с высокими ставками и низкой вероятностью. Хотя данный анализ может быть применим к любым рискам, он наиболее полезен в данной категории. Только если P(X | A) очень мало, то серая область начинает играть относительно большую роль. Если P(X |A) умеренно велико, то тогда малый вклад вероятности ошибки имеет небольшое значение в оценке вероятности, например, определяя разницу между 10% и 10,001%, а не разницу между 0,001% and 0,002%. Ставки должны быть также очень велики, чтобы имел смысл дополнительный анализ рисков, при том, что изменение вероятности очень невелико в абсолютных терминах. Если ещё одна миллионная шанса смерти миллиарда людей определённо стоит дальнейшего рассмотрения, то дополнительная миллионная доля шанса пожара в доме этого не стоит.

Возможно следующее возражение нашему подходу, на том основании, что мы только показали, что неопределённость становится больше, чем это считалось раньше, но не вероятность события становится больше, чем это оценивалось ранее: дополнительная неопределённость может как увеличить, так и уменьшить вероятность события. При применении нашего подхода к произвольным случаям, это возражение будет работать, однако в этой статье мы специально обращаемся к случаям, в которых вероятность P(X | A) крайне мала, так что любое значение P(X |- A) было бы выше и, таким образом, двигало бы суммарную оценку вероятности вверх. Эта ситуация симметрична в отношении экстремально высоких значений P(X | A), где повышение неопределённости доказательства приведёт к уменьшению оценки вероятности, и эта симметрия нарушается только нашей концентрацией на очень маловероятных событиях.

Другое возможное возражение состоит в том, что поскольку всегда есть ненулевая вероятность того, что доказательство содержит ошибки, то ситуация является безнадёжной: любое новое доказательство не сможет полностью убрать серую зону. Верно, что серую область никогда не удастся убрать, однако если новое доказательство (А2) является независимым от предыдущего доказательства (А1), то тогда серая область уменьшится, то есть P(- A 1,- A 2)<P(- A 1). Это может привести к значительному прогрессу. Небольшая оставшаяся серая область может быть приемлема, если P(X |- A)P(- A), согласно оценкам, является достаточно малым в сравнении с уровнем ставок.