Сценарий возможной атаки

В этом разделе мы рассмотрим механизм возможной атаки по каналам SETI, не рассматривая пока вопрос о целях такой атаки. В следующем разделе мы рассмотрим вопрос, насколько реально то, чтобы другая цивилизация захотела и стала бы посылать такое сообщение и каковы шансы на него натолкнуться.

В начале отметим, что чтобы доказать уязвимость, достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач различается на много порядков, что хорошо известно специалистам по компьютерной безопасности. Именно это различие привело к тому, что почти все компьютерные системы были взломаны (от немецкой шифровальной машины Энигмы до плеера Ipod). Я сейчас постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную уязвимость программы SETI.

Во-первых, я хочу предостеречь читателя от мысли, что если он найдёт ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI, поскольку возможны альтернативные пути атаки. Во-вторых, (в соответствии с логикой Юдковски о том, что невозможно предсказать поведение более интеллектуальной системы, но зато возможно предсказать результат такого поведения – например, при игре в шахматы против гроссмейстера невозможно предсказать, как именно он будет против меня играть, но возможно предсказать результат игры – мат) я также хочу обратить внимание читателя, что я – человек с IQ в районе 120 и что я потратил на обнаружение этой уязвимости не более года размышлений. Сверхцивилизация с условным IQ в 1000000 и временем размышлений в миллионы лет может существенно усовершенствовать этот алгоритм или найти гораздо более простой и эффективный. Наконец, предлагаемый мною алгоритм не единственный, и потом мы обсудим кратко другие варианты.

В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом.

Алгоритм атаки:

1. Цивилизация-отправитель сигнала создаёт некий маяк в космосе, который привлекает своим явно искусственным сообщением. Например, это может быть звезда, окруженная сферой Дайсона (то есть материальной сферой, полностью улавливающей свет звезды), в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого вся звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идёт разное расстояние. Тем не менее, такой маяк может быть виден на расстоянии миллионов световых лет. Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния. (Например, если подмешать даже небольшое количество нетипичного вещества в атмосферу звезды, то его спектральные линии будут видны на огромные расстояния).

2. Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание к этому источнику. Этот источник предаёт некую бинарную информацию (то есть последовательность 0 и 1). Насчёт возражения о том, что эта информация будет содержать шумы, отмечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала, и путём неоднократного повторения можно достичь какой угодно точности передачи.

3. Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача с его помощью изображений. Во-первых, потому что в ходе земной эволюции глаза возникали независимо несколько раз, а значит, представление трёхмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам, способным построить радиоприёмник – и принять этот сигнал.

4. Во-вторых, двухмерные изображения не трудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно, систему построчной и покадровой развёртки. В конце каждой сроки изображения помещается выделенный сигнал, повторяющийся через равные количества битов. Наконец, в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра, и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так (и содержать рисунок треугольника из 1):

Здесь концевым сигналом строчной развёртки является последовательность из 16 единиц. Покадровый концевой сигнал может содержать, например, 625 «единиц».

5. Очевидно, цивилизация-отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.

6. С помощью картинок и фильмов можно передать много информации, можно даже обучить языку, показать свой мир. Очевидно, что можно много спорить о том, насколько такие фильмы будут понятны. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно, они знают радиотехнику – то есть знают транзисторы, конденсаторы, резисторы. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы).

7. Посылая фотографии с изображением справа радиодеталей, а слева – их условные обозначения, можно легко передать набор знаков, обозначающих электрические схемы. (Примерно так же можно было бы передать и логические элементы компьютеров.)

8. Затем с помощью этих обозначений цивилизация-отправитель передаёт чертёж простейшего компьютера. Простейший с аппаратной точки зрения компьютер – это машина Поста. У неё только 6 команд и одна лента данных. Полная её электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертёж машины Поста нетрудно. Впрочем, это может быть и чертёж более сложной вычислительной машины, например, микропроцессор 8080 содержит примерно 5000 транзисторов. (Здесь важен баланс – чем сложнее машина, тем проще для неё программы, но тем труднее безошибочно переслать её чертёж. Кроме того, очень простые компьютеры работают очень медленно.) Здесь возможен двухступенчатый вариант – сначала передаётся описание очень простой машины и программа для неё, а эта программа чертит чертёж более сложной машины или адаптирует программный код для существующих машин. (Отметим, что в романе Хойла этот момент тоже присутствует – вычислительная машина создаёт биокомпьютер в виде человека – девушки Андромеды, который работает ещё эффективнее.)

9. При этом важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг-совместимыми. То есть инопланетные компьютеры на алгоритмическом уровне совместимы со всеми земными. Тьюринг-совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале 19 века, была Тьюринг-совместимой.

10. Затем цивилизация-отправитель начинает передавать программы для этого компьютера. Несмотря на то, что этот компьютер крайне прост, он может выполнить программу любой сложности, хотя запись её будет очень длинной, в сравнении с записью программы для более сложного компьютера. Вряд ли люди будут делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера, так, что он будет успевать выполнять миллиарды операций в секунду, и поэтому даже очень сложные программы будут выполняться на нём достаточно быстро. (Впрочем, на начальном этапе время не критично, и может составлять месяцы непрерывной работы.)

11. Что может побудить людей создавать этот пересланный компьютер, и выполнять на нём программы? Вероятно, помимо собственно схемы компьютера и программ, в сообщении должна быть некая «наживка», которая бы побудила людей создать такой компьютер, запустить на нём инопланетные программы и предоставить этому компьютеру некие данные о внешнем земном мире. Наживки бывают двух родов – соблазны и угрозы:

· Например, возможно следующее «честное предложение» – назовём его «гуманитарная помощь». Отправители ETI-сигнала «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно её целей. То есть они утверждают, что это «подарок» (троянский конь), который поможет решить нам все медицинские и энергетические проблемы.

· «Соблазн абсолютной власти» – в этом сценарии они предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.

· «Неведомая угроза» – в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например, от другой враждебной цивилизации, и чтобы от неё защитится, нужно вступить в «Галактический альянс» и построить у себя некую установку. Или, например, отказаться от определённого класса физических экспериментов на ускорителях, и разослать это сообщение дальше по галактике. А чтобы его разослать, придётся построить передатчик по внеземным технологиям.

· «Неутомимый исследователь» – здесь отправители утверждают, что отправка сообщений – самый дешёвый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад, обещая за это поделиться знаниями.

· «Галактический интернет» – человечеству предлагается подключиться ко вселенской информационной сети и стать узлом в обмене информацией между звёздами. Для загрузки и расшифровки сообщений этой сети предлагается установить вычислительную машину и исполнить на ней некую программу, а также сконструировать некие устройства. Идеи о подключении к галактическому культурному полю в духе книги Панова весьма популярны и наверняка найдётся много людей, которые пожелают это сделать.

12. Однако основная причина полагать весьма вероятным запуск внеземного послания с исполняемым кодом состоит не в том, какая именно там будет наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей. Во-первых, среди них всегда найдётся тот, кому понравится наживка. Во-вторых, допустим, в мире станет известно, что из определённой точки в небесных координатах исходит внеземное послание, и американцы его уже получили и пытаются расшифровать. Разумеется, тут же все другие страны начнут строить радиотелескопы (за несколько лет любая развитая страна или мощная организация может построить достаточно сильный радиотелескоп или перенаправить на эти нужды военные радиотелескопы; кроме того, существуют частные SETI-любители, которые мастерят недорогие домашние антенны) и обшаривать ими небо, поскольку будут бояться упустить стратегическое преимущество. Они найдут сообщение и увидят, что там, например, находится предложение о всемогуществе. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут утверждать, что не открывали опасный код и просить других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные преимущества, и пытаются лишить их «прогрессивное человечество». И хотя большинство будет понимать опасность запуска инопланетного кода, найдутся некоторые, которые готовы будут рискнуть. Тем более, что здесь будет игра в духе «начавший первым получает всё», равно как и в случае открытия ИИ, как подробно показывает Юдковски. Итак, опасна не наживка, а множественность получателей. Если же инопланетное послание в сыром виде утечёт в интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то здесь мы имеем классический пример «знаний массового поражения», как сказал Билл Джой [11], имея в виду, правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его даже без всякой наживки. Итак, наличие Интернета и возможности многократно загружать послание делает его запуск людьми практически неизбежным.

13. Поскольку у людей нет своего ИИ, они существенно недооценивают силу программ с искусственным интеллектом и переоценивают свои способности его контролировать. Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в чёрный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребёнка. Если ИИ вырвется в интернет, то он может быстро подчинить его себе целиком, а также обучится всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем ИИ может создать продвинутые нанотехнологии, закупив некие биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают). Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание своей материальной инфраструктуры ИИ (то есть управляемых им роботов) потребуется срок порядка недель.

Рассмотрим для ясности один из возможных сценариев, который инопланетный ИИ может использовать для захвата власти на Земле. Предположим, что он обещает «бессмертие» любому, кто соберёт компьютер по присланным чертежами и запустит на нём программу с ИИ. Когда программа запущена, она говорит: «ОК, приятель, я могу сделать тебя бессмертным, но для этого мне надо знать, на какой основе работает твой организм. Снабди меня доступом к твоим базам данных». И вы подключаете это устройство к интернету, где оно постепенно осваивается и узнаёт, что ему нужно, об особенностях биологии человека. (Здесь уже для него есть возможность утечь в интернет, но мы ее опустим.) Потом ИИИ говорит: «Я знаю, как тебя сделать бессмертным. Нужно каждую клетку твоего тела заменить нанобиороботом. И, к счастью, в биологии твоего организма нет почти ничего особенного. Многие другие организмы во вселенной также используют ДНК как носитель информации. Поэтому я знаю, как запрограммировать ДНК так, чтобы создать генетически модифицированную бактерию, способную выполнять функции любой клетки. Мне необходим доступ к биологической лаборатории, где я могу поставить несколько экспериментов, и это обойдётся тебе миллион ваших долларов». Арендуется лаборатория, нанимается несколько сотрудников, и наконец ИИИ выдаёт таблицы с кодом ДНК, которые заказываются в лаборатории по синтезу ДНК. Затем эти ДНК вживляются в дрожжи и после нескольких неудачных экспериментов удаётся создать радиоуправляемую бактерию (впрочем, это уже не бактерия, поскольку в ней появляются всякие органеллы и ядро), которая способна синтезировать внутри себя новый код ДНК на основе поступающих извне команд. Теперь биолаборатория не нужна, поскольку эта бактерия способна превращаться в разные материалы – в пробирки, в клетки, совместимые с человеческим телом, в новые организмы. Очевидно, что в этот момент Инопланетный ИИ уже готов начать атаку против человечества. Он может перенести и самого себя на уровень нано-компьютера, то есть исходный компьютер можно отключить. После этого ИИИ распыляет некоторое количество подчинённых ему бактерий с нанокомпьютерами, которые тоже несут ИИИ, в воздух, они постепенно разносятся по всей планете, незаметно проникают во все живые существа, и затем по таймеру начинают неограниченно делиться, как серая слизь, и уничтожать всех живых существ. После того, как они уничтожены, Инопланетный ИИ может начать создавать свою собственную инфраструктуру по передаче в космос радиопосланий. Очевидно, что этот беллетризованный сценарий не единственный: например, ИИИ может захватить власть над ядерным оружием, и заставить строить людей радиопередатчики под угрозой удара. Поскольку ИИИ опытен и разумен, он может выбрать наиболее подходящий путь в данных обстоятельствах.

14. После этого люди не нужны этому сильному ИИ для реализации каких-либо его целей. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.

15. После этого данный ИИ может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. (Это связано с тем, что гораздо вероятнее наткнуться на сообщение, которое нацелено на максимально эффективное копирование себя.) Для этого он начнёт, вероятно, превращать материю солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на атомы.

Итак, мы рассмотрели один возможный сценарий атаки, который стоит из 15 этапов. Каждый из этих этапов выглядит логически убедительным и может критиковаться и защищаться по отдельности.

Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку и пытаться её вскрыть. А это будет, на самом деле, нечто вроде троянского коня.

Однако не только рассылка исполняемого кода может быть опасна. Например, нам могут сообщать о некой полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.