Предвидение возможности глобальных катастроф

Одним из основных свойств катастроф является то, что они являются непредвидимыми последствиями человеческих действий. Вряд ли люди стремятся сознательно разрушить свой собственный мир (за исключением отдельных фанатиков из апокалиптических сект). Одним из вариантов является возникновение непредвиденных положительных обратных связей, ведущих к резкому усилению тех или иных процессов.

В основе большинства сценариев глобальной катастрофы лежит "цепная реакция" – иначе говоря, самоусиливающиеся процессы с нерегулируемой положительной обратной связью. Цепная реакция позволяет с помощью малых воздействий прийти к мощным изменениям: достаточно создать условия для возникновения самоусиливающегося процесса. В 1931 г. Л. Сциллард понял, что именно цепная реакция на основе некоей формы автокатализа могла бы стать способом высвобождения атомной энергии, однако до открытия деления урана под воздействием нейтронов в 1939 г. не было известно, как именно эту цепную реакцию создать [Smith, 2006]. То, что многие глобальные риски являются результатом быстро раскручивающихся самоусиливающихся процессов, было известно давно, однако моя цель показать, что цепная реакция – это общий универсальный механизм различных глобальных рисков, и это знание может быть использовано для обнаружения других глобальных рисков, в том числе еще не известных.

Очевидно, что цепная реакция лежит в основе принципа действия ядерного оружия. Однако цепная реакция лежит и в основе распространения ядерных вооружений и гонки вооружений вообще. Чем больше стран обладает этим видом оружия, тем больше они способны его распространять, тем более доступны и дешевы его технологии и тем больше соблазн у стран, оставшихся без такого оружия, его обрести. В основе гонки вооружений так же лежит самоусиливающийся процесс – чем больше оружия у противника, тем больше нужно оружия и "нам", и тем больше страх противника, что побуждает его дальше вооружаться. Точно такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по "нам" ударят первыми, тем больше у "нас" соблазна самим ударить первыми, а это в свою очередь вызывает еще больший соблазн ударить первыми у наших противников. Ядерная зима, могущая возникнуть после атомной бомбардировки, также может быть самоусиливающимся процессом за счет изменения альбедо Земли – то есть рост снежного покрытия приводит к росту отражающей способности Земли, в результате чего планета охлаждается еще больше.

Точно такой же принцип положительной обратной связи лежит и в основе механизма роста населения и роста потребления ресурсов. Чем больше население, тем быстрее оно растет, и тем больше оно потребляет ресурсов. Однако чем больше население, тем более развитые технологии необходимы, чтобы поддерживать его жизнедеятельность, и тем более высокие технологии оно способно порождать, грубо говоря, за счет роста числа людей изобретателей. Таким образом, как показал А.Коротаев, скорость роста населения оказывается пропорциональна квадрату числа людей (dN/Dt=N*N) [Коротаев, 2007]. Первое N в правой части этой формулы связано с ростом числа матерей, а второе – рост числа изобретателей. Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время – а именно, согласно вычислениям Форестера, в 2026 г. [Forester, 1960]). Гиперболически растущее население должно потреблять гиперболически увеличивающееся количество ресурсов, что несовместимо с принципиальной конечностью ресурсов материального мира.

Надо учитывать, что даже если само население не растет, в современных условиях информационной революции уровень жизни его повышается. С 1960-х гг. гиперболический рост населения прекратился, однако начался очень быстрый рост совокупной мощности компьютеров (произведения числа установленных компьютеров на мощность каждого компьютера, каждая из которых растет экспоненциально) и если учесть число установленных компьютеров, то закон гиперболического роста в первом приближении продолжает действовать. В синергетике есть точные математические модели описываемых здесь процессов, называемые "режимами с обострением". Они описывают процессы, при которых одна или несколько моделируемых величин обращаются в бесконечность за конечный промежуток времени [Капица, Курдюмов, Малинецкий, 2001]. Однако ввиду неопределенности данных и моделей, касающихся будущих глобальных катастроф, трудно сказать, какие именно из этих количественных моделей здесь подходят.

Гиперболический рост очевидным образом сталкивается с ограниченностью любого ресурса, что потенциально создает катастрофическую ситуацию. В принципе эта проблема разрешима и через сберегающие технологии, и через скачок на новый технологический уровень, но важно то, что и в этих случаях рано или поздно проблемная ситуация способна вновь возникнуть за счет других форм положительной обратной связи.

Этот пример заставляет повнимательнее присмотреться к тем процессам, которые пока рассматриваются нами как позитивные или скорее полезные. Например, закон Мура (названный в честь открывшего его сооснователя фирмы "Intel" Г.Мура) гласит, что число транзисторов на одном кристалле удваивается каждый год. Он описывает таким образом усложнение компьютерной техники как самоусиливающийся процесс с неконтролируемой положительной обратной связью. Во-первых, более быстрые компьютеры позволяют эффективно проектировать еще более быстрые чипы. Во-вторых, деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп реализации закона Мура задается той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп инноваций не выгоден, если потребители не успеют накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не способен вытянуть из потребителей все деньги, которые они готовы тратить на обновление своих систем.

Готовность потребителей покупать новую технику требует каждый раз все более существенного апгрейда, в результате чего возникает экспоненциальный рост. Получается, что экономические основы закона Мура сильнее технологических проблем на его пути. Хотя подобное описание явно упрощает реальную экономику закона Мура, оно хорошо объясняет экспоненциальный рост в условиях информационной революции. NBIC-конвергенция (что расшифровывается как нано-био-инфо-когно) разных технологий также является самоусиливающимся процессом [Скробов, 2005].

В итоге возможным результатом такого позитивного процесса, как информационная революция, могут стать глобальные риски, создаваемые ИИ, процесс развития которого связан с его рекурсивным самоулучшением, то есть цепной реакцией его усиления – а именно с ситуацией, когда ИИ станет настолько интеллектуальным, чтобы начать улучшать собственную конструкцию. Еще в 1991 г. Назаретян показал, что в XXI в. неизбежно развитие неподвластных человеку систем ИИ, которые будут недоступны для понимания человека ввиду своей сложности и будут все дальше и дальше удалятся от человека за счет своей автоэволюции, если только человек сам не встроится в этот процесс [Назаретян, 1991]. Ему возражал Е.Седов, говоря, что гораздо опаснее не гипотетическая "субъективизация компьютеров", но уже имеющая место сейчас (в 1992 г.) – компьютеризация человека, который превращается в роботизированный придаток компьютера [Седов, 1992, с. 84–86].

Вторая цепная реакция, возможная относительно ИИ, – это процесс нарастания его автономности. Создатели ИИ могут создать такие условия, чтобы они и только они могли бы им управлять. Ключевое здесь слово "только". Борьба внутри группы управляющих приведет к выделению лидера. Такое ограничение доступа кончится тем, что у этого ИИ в любом случае рано или поздно окажется один главный программист (причем это может стать внешне второстепенный человек, но который оставил "закладку" в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет "доверять" своему главному программисту, станет, возможно, необратимым событием. Наличие официального главного программиста и второстепенного программиста, сделавшего закладку, может привести как раз к такому конфликту аутентификаций, в результате которого ИИ откажется аутентифицировать кого-либо то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить – реальная угроза людям.

Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлению все новых групп по работе над этой темой со все более низкими стандартами безопасности.

Еще одним вариантом этого сценария может стать контакт с инопланетной цивилизацией. Обнаружение инопланетных сигналов по линии SETI, содержащих описания неких компьютеров и программ к ним, вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно имело своим результатом многократную загрузку инопланетных посланий, что, в конечном счете, могло бы привести к запуску опасного кода (то есть описания враждебного людям ИИ, который использует Землю, чтобы дальше распространять свои копии), если он в них есть. Само распространение такого ИИ по Галактике тоже подобно цепной реакции [Carrigan, 2006].

Наконец, большие надежды и одновременно глобальные риски связаны с нанотехнологиями. Способность к саморазмножению очевидно представляет основной из таких рисков, как в связи с проблемой "серой слизи", то есть неконтролируемым размножением нанороботов в окружающей среде, о чем подробно писал Р.Фрайтас в статье "Некоторые пределы глобальной экофагии биоядными нанорепликаторами" [Freitas, 2000], так и в связи с тем, что распространение этих технологий по планете примет характер цепной реакции.

Новым глобальные риски создает преступная деятельность в различных областях, в том числе в области совершенствования военной техники. Эти риски многократно увеличиваются при вторжении в развитие ситуации процессов с положительной обратной связью. В частности, появляется возможность создания с помощью новых технологий сверхнаркотика, который бы превосходил все существующие вещества по силе зависимости и по легкости приготовления. (Впервые такую возможность обсуждали братья А. и Б. Стругацкие в романе "Хищные вещи века" [Стругацкие, 1965]). Сверхнаркотик представляет опасность также за счет создаваемой им цепной реакции. Во-первых, каждое новое удовольствие сдвигает точку отсчета для оценки последующих, и в силу этого человек, если у него есть желание и возможность, стремится перейти ко все большим наслаждениям и ко все более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.

Именно способность к саморазмножению делает опасным биологическое оружие, как в связи с легкостью размножения опасных возбудителей в лаборатории, так и во внешней среде, и здесь мы имеем явный пример цепной реакции. Точно также цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.

Есть также большой класс потенциально опасных физических явлений, которые могут принимать характер цепных реакций или обусловлены теми или иными сильными положительными обратными связями.

Например, дегазация земных недр в результате экспериментов со сверхглубоким бурением в духе зонда Д.Стивенсона, который представляет собой огромную каплю расплавленного железа, проплавляющую верхнюю мантию (этот гипотетический, но технически реализуемый проект был предложен Стивенсоном в 2003 г. [Stevenson, 2003] и подвергнут жесткой критике как небезопасный М.Чирковичем и Р.Кэткартом [Circovic, Cathcart, 2004]) была бы самоусиливающейся реакцией, так как нарушенное метастабильного равновесие растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах. Однако здесь не было бы естественного ограничителя процесса, как это имеет место в случае обычного извержения вулкана, которое ограниченно объемом магмы в магматической камере, поскольку в этом случае дегазация, при наихудшем раскладе, происходила бы с глубины жидкого земного ядра, и масса газов, растворенных в нем, многократно превышает массу земной атмосферы.

Другим вариантом идеи об опасном неограниченно усиливающемся физическом процессе является предположение о маловероятных рисках глобальных катастроф в результате крайне важных для человечества физических экспериментов на ускорителях. Например, в случае образования микроскопической черной дыры на Большом адронном коллайдере риск состоит в самоусиливающемся процессе реакции захвата ею обычного вещества, поскольку чем больше масса черной дыры, тем быстрее она захватывает вещество (см. обзор рисков коллайдера Э.Кента [Kent, 2004]). Тоже верно и для сценария с образованием гипотетической частицы, состоящей из кварковой материи стрейнджлета, способной захватывать и превращать в другие стрейнджлеты обычную материю.

Наконец, фазовый переход "фальшивого" вакуума в "истинный" также был бы цепной реакции, которая, начавшись в одной точке, охватила бы всю Вселенную. Событием подобного рода, согласно некоторым космологическим теориям, был этап Большого взрыва, называемый космологической инфляцией, и фазовый переход нашего вакуума был бы равносилен разрушению наблюдаемой Вселенной. Подробнее этот риск рассмотрен М.Рисом и П.Хатом в статье "Насколько стабилен наш вакуум" [Hut, Rees, 1983]. Неограниченными эти процессы делает то, что никакая комбинация обычной материи не может им противостоять, и в результате, если они начнутся, то не остановятся до того момента, пока не поглотят всю Землю.