Обнаружение ошибок в рассуждении о возможности конкретной катастрофы не является способом укрепления безопасности

Есть два вида рассуждений – доказательства безопасности некой системы и доказательства её опасности. Эти рассуждения неравноценны логически – в первом случае речь идёт обо всех возможных случаях, тогда как во втором – хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера почти не прибавляет истинности всеобщему утверждению.

Например: для того, чтобы доказать опасность определённой модели самолёта, достаточно обратить внимание на то, что в некоторых экспериментах материал обшивки проявил склонность к эффекту «усталости металла». Однако для того, чтобы доказать безопасность этой модели, совершенно недостаточно обнаружить некорректность в проведении экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.

Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности, – то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, – тогда это способствует повышению безопасности. В проектах сложных технических систем всегда есть «технические обоснования безопасности», где описывается «максимальная проектная авария» и способы её локализации. Реальным доказательством безопасности какого-либо устройства является строгое доказательство того, что с ним ничего не может случиться ни при каких обстоятельствах плюс практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.

С точки зрения науки мы должны доказывать существование объекта, а с точки зрения безопасности ­­– доказывать, что нечто не существует. Обязанность доказательства безопасности полётов лежит на конструкторах самолёта, а не на пассажирах. Поэтому, когда разработчики обращаются к сторонним экспертам с требованием типа «докажите, что данный риск реален», это наносит ущерб общей безопасности.