Глава 2. Ошибки, возможные только относительно угроз существованию человечества

1. Путаница относительно глобальных катастроф и просто очень больших катастроф. Часто путают глобальные катастрофы, ведущие к вымиранию человечества (англ. термин «existential risks»), и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Для первых в Критерием глобальных катастроф является необратимость. Для них в русском языке пока нет устоявшегося краткого термина. Так, Моисеев называл их цивилизационными рисками или катастрофами. В данном труде используется название «глобальные катастрофы». Существует также термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей» [Bostrom 2001].) Разница между этими видами катастроф – не в количестве погибших и испытанных людьми страданий, а в будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на земле вновь будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам (от древних греков остался, по некоторым оценкам, лишь 1 Гб информации, а влияние их на культуру оказалось огромным). Критерием же глобальных катастроф является необратимость.

Примером такой разницы могут служить две катастрофы: в одной вымирает всё человечество, в другой – гибнут все, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. На взгляд отдельного человека никакой зримой разницы между двумя случаями нет. и в том, и в другом он погибнет почти наверняка, вместе со всем, что для него ценно. Однако для человечества как целого разница равнозначна различию между смертью и очень тяжёлой болезнью. Болезнь может быть долгой и мучительной, но закончится выздоровлением, а смерть – лёгкой и мгновенной, но обязательно необратимой.

2. Недооценка неочевидных рисков. Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём и вероятность неизвестны, а для их снижения ничего не предпринимается. Некоторые неочевидные риски известны лишь узкому кругу специалистов, а мнения в оценке их реальности и вероятности зачастую диаметрально противоположны. Для стороннего наблюдателя эти мнения могут выглядеть в равной мере обоснованными, что заставляет выбирать между ними или исходя из личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в которых остаётся ещё много белых пятен.

С ростом знаний о природе и могущества техники постоянно растёт число известных причин возможного человеческого вымирания. Более того, этот рост ускоряется. Потому вполне разумно ожидать, что есть важнейшие риски, о которых мы не знаем ничего. И хуже из них те, о которых мы физически не можем ничего узнать, пока они не реализуются.

Кроме того, очевидные риски гораздо удобнее анализировать. Огромные объёмы данных по демографии, военному потенциалу и запасам сырья, которые можно исследовать детально и подробно, попросту могут заслонять тот факт, что есть и другие риски, о которых известно очень мало. Такие риски не годятся для анализа в численной форме, но тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).

Известно, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами происходящего: ошибки в оценке высоты, степени опасности процесса и т.д.. Наоборот, когда такое понимание имеется, самолёт часто удаётся спасти в совершенно невероятных условиях. И хотя апостериори причины катастрофы понятны, пилотам в тот момент они были совершено неочевидны.

3. Глобальные риски нетождественны национальной безопасности Государства тратят на национальную безопасность больше средств, чем на глобальную. Однако глобальные риски – гораздо большая угроза для каждой страны в отдельности, чем национальные: просто потому, что если погибнет мир, то и страна вместе с ним. Причём часто действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны повышает, – во всяком случае, по мнению её руководства – наращивание запасов ядерного и бактериологического оружия. Однако гонка вооружений снижает безопасность мира в целом! Или, например, проблемой РФ является депопуляция, а для всего мира – перенаселение (равно как и для Москвы). Ещё пример: один американский фонд (Lifeboat.com) реализует проект по предотвращению глобальных рисков и террористических атак на США. Но для нас понятно, что первое и второе – не одно и тоже.

4. Ошибка, связанная с психологизацией проблемы. Издавна существует архетип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, неудачи в финансах и личной жизни. Однако истинность или ложность такой интерпретации психологических мотивов не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если дело не касается их собственной жизни.

5. Отождествление глобальной катастрофы со смертью всех людей и наоборот. вымирание человечества не означает гибели всех людей, и наоборот. Легко представить сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства... Или если, – допустим такой фантастический сценарий, – инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам... Это будет означать конец цивилизации, хоть огромное большинство людей и останется в живых в течение значительного времени

Более того, все живущие в настоящий момент люди, если не изобрести радикальное средство продления жизни, вымрут к началу XXII века, равно как к настоящему моменту вымерли люди, жившие в XIX веке. Однако это мы не рассматриваем как глобальную катастрофу, так как сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.

6. Стереотип восприятия катастроф, который сложился в результате работы СМИ. СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт просмотра телевизионных репортажей с мест катастроф выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.

Риски в СМИ регулярно освещаются непропорционально. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу: реальный ущерб часто непропорционален его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограничено, сообщения СМИ создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).