Робот должен заботиться о своей безопасности, насколько это не противоречит первому и второму закону

Нетрудно заметить, что в этих законах высшую силу имеют установки на обеспечение безопасности человека, а собственная безопасность (самосохранение) машины стоит только на третьем месте. Но, похоже, даже эти строгие законы не способны обеспечить безопасность человечества. По этому поводу было уже немало сказано. Рискуя повториться, тем не менее отметим следующее. Одна из движущих сил человеческого общества – это подготовка к войне. Очень нередко именно соображения обороны позволяют выделить средства на разработку какой-то идеи или новой техники. Вряд ли со временем что-нибудь изменится в этом вопросе. А использование роботов для ведения боевых операций – это одна из первейших современных задач. Следовательно, первый и второй законы, по крайней мере в отношении этих боевых роботов, будут сильно урезаны, если вообще использованы. Однако боевые машины – это как раз то, что может создать угрозу существованию человека.

Еще одно препятствие – это сложность формализации таких задач безопасности. Легко сказать, чтобы робот подчинялся человеку и слушался его. Да трудно сделать. При формализации такой задачи возникнет тысяча вопросов: какому человеку и какой команде подчиняться, как оценить, будет ли причинен вред или нет. Такие оценки подчас сложны даже для человека, не то что для машины. Например, захват жизненного пространства – это угроза человечеству? С какого момента такие действия превращаются в угрозу?

Когда мы говорим о возникновении и развитии жизни на Земле, то широко апеллируем к понятиям эволюции, отбора, мутации. То есть, что касается нас, тут-то мы вполне допускаем, что возможна ситуация существенного изменения генокода живого существа. А что, в отношении машины такое вообще невозможно? Собственно говоря, почему? Не будем трогать сложное понятие "эволюция". Но как быть с «мутациями» в отношении программ, по которым действует машина? Пусть мы заложили в нашу машину самое жесткое правило о подчинении человеку. Однако в результате какого-то внешнего воздействия, какой-то ошибки, сбоя эта часть программы может и пострадать, выйти из строя. А машина в целом может как сломаться, так и остаться работоспособной. То есть произойдет машинная "мутация". И как нам быть с таким машинным "мутантом"? Он в такой ситуации запросто может стать угрозой для кого угодно, в том числе и для человека.

Кстати, когда говорят о "восстании" машин, то нередко имеют в виду "железные" машины, в том числе вычислительные машины. И напрасно. Машины могут быть совсем не железные. Они запросто могут состоять из тех же органических веществ, что и мы с вами. Ведь не исключено, что и мы сами тоже своеобразные машины (хотя многие с этим не согласны). Человечество в последнее время сколько угодно манипулирует с генокодами, создает генно-модифицированные сельскохозяйственные культуры, пытается внести изменения в генокод человека. В полной мере клонируются живые существа. Даже создается что-то похожее на роботов, состоящих из органических молекул. Где гарантия, что все эти эксперименты не приведут к возникновению жизнеспособных существ, которые пока не существуют на Земле? И кто может поручиться, что эти существа не будут агрессивными по отношению к человеку?

В этой связи можно упомянуть следующее. Многие небезосновательно считают, что некоторые из современных вирусов, в том числе вирусы СПИДа, свиного гриппа, атипичной пневмонии возникли не сами по себе, а в соответствующих лабораториях. Авторы таких разработок, надо полагать, рассчитывали на определенные результаты: сократить население беднейших стран, расчистить жизненное пространство, обеспечить сбыт лекарств против ими же придуманных болезней. Но расчеты одно, а реальная жизнь - совсем другое. Все может пойти совсем не по тому сценарию, который изначально задумывался. И последствия могут быть самыми неблагоприятными.

Кроме того, машина может создать проблемы для человека не прямо, а косвенно. Может быть, машины и не будут бунтовать и пожирать человеческое мясо. Но они, надо думать, будут нуждаться в пространстве для существования, в материалах, в энергии, в определенном состоянии окружающей среды. Они в конце концов могут сами загрязнить эту среду, изменить климат, уничтожить какие-то растения. Да мало ли что еще! В результате человек запросто может оказаться «крайним». Вроде никто против него прямо не выступал, а условия для жизни в результате ухудшились настолько, что стали неприемлемыми.

Есть и еще одна сторона проблемы потенциального конфликта человека с созданными им же машинами. Допустим, что в нашем происхождении нет ничего божественного, а сами мы тоже лишь машины особого рода с вполне детерминированными поступками. В таком случае мы ничем не лучше и не хуже машин, которые создаем. Пока эти машины несовершенны и не могут претендовать на равные с нами права, да и вообще на какие-либо права. Но не факт, что так будет продолжаться всегда. Допустим, что в один прекрасный момент машины стали столь совершенны, что возник вопрос о равном положении с человеком. Когда мы говорим "совершенны", мы имеем в виду два элемента. Во-первых, машина стала способной решать определенный круг задач, характерных пока только для человека. Например, совершать поступки, которые совершает человек, когда он живет в рамках человеческого сообщества. К примеру, выполнять полезную работу, за которую можно получить вознаграждение.

Но этого мало. Уже и сейчас машины выполняют важные работы – играют на бирже, и не только.[245] Машины, во-вторых, должны быть способны существовать (поддерживать свое существование и, возможно, размножаться) без человеческой помощи. То есть у машины не должно быть непосредственного покровителя, претендующего на статус хозяина.

Итак, человек – сам по себе, а рядом с ним машина, которая тоже сама по себе. И как быть в этой ситуации? Если машина превратится в самостоятельный субъект, сам себя поддерживающий в рабочем состоянии, то с ней, наверное, придется считаться. Самое время признать за ней какие-то права и начать строить с ней отношения. Пусть даже как между колонизатором и туземцем. Но все-таки по каким-то правилам. В таком случае можно рассчитывать на относительно безболезненное и лишь постепенное, а не резкое смещение баланса между человеком и машиной.

Авторы данной книги хорошо понимают, что, скорее всего, никогда никакие отношения строиться не будут. Не такова человеческая натура. Конечно, никогда мы не сможем избавиться от чувства собственной исключительности, божественности и неповторимости. Мы и сейчас не способны на это, несмотря на то, что машины явно уже выполняют многие действия, которые раньше был способен совершить только человек. Нет, очевидно, что мы с вами ни на какие переговоры ни с какими машинами никогда не пойдем. И будем стоять на своем до конца. Результатом будет следующее. Если машины к тому моменту окажутся способны существовать и развиваться без помощи человека, именно этим они и займутся. И будут в результате занимать все большую часть жизненного пространства. То есть станут теснить человека. Но будут делать это без каких-либо правил. То есть возникнет ситуация силового конфликта. Кто сильней, тот и победит. При этом машины не будут связаны никакими правилами.

Читатель тут возразит следующее. Мол, машины никогда не будут соблюдать правила, о которых с ними можно договориться. Ответим: это сложный вопрос. Люди и между собой далеко не всегда могут договориться, и только из-за этого начинают войны. И тоже не склонны соблюдать правила. Однако часть конфликтов все-таки удается снять путем переговоров и добровольных уступок и ограничений, и это тоже совершенно очевидный факт. Наверное, такое возможно и применительно к машинам. Любые подобные переговоры представляют собой попытку установить правила, с помощью которых можно попытаться обеспечить применение каких-то принудительных мер. То есть если партнер по переговорам на каком-то этапе начинает отходить от договоренностей, – это сигнал к применению силы. Если такой договоренности не будет, то тогда не всегда понятно, когда именно надо применять силу и в каком масштабе. Когда мы тут говорим "сила", то подразумеваем принуждение в любой форме, в том числе и самой мягкой, а не только, например, ядерную бомбардировку.

Авторский прогноз таков. Наступит момент, когда надо будет договариваться, причем по-умному, с использованием сложного механизма контроля и принуждения. Но когда такая нужда возникнет, человечество вряд ли окажется способным на подобный шаг. В результате нас потеснят силой, и тогда придется считаться с реально сложившимся положением вещей. И при этом будет не важно, будем мы признавать за машинами наличие интеллекта или нет. Ведь, по сути, само такое признание – это просто повод к признанию права на переговоры с нами, к признанию права сесть с нами за один стол на равных, и только.