2015-05-18
257
Опять-таки, существует возможность, что плохо запрограммированный сверхинтеллект возьмет власть и реализует те ошибочные цели, которые были ошибочно ему даны.
Глобальный репрессивный тоталитарный режим
Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые постчеловеческий мир может иметь.
Такое мировое правительство, очевидно, может быть сформировано небольшой группой людей, если они будут контролировать первый сверхинтеллект и смогут задавать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот постчеловеческий мир может отражать только уникальные ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.
7.4. Нечто непредвиденное [76]
Все остальное.
Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьез в нашем стратегическом планировании.
Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в постчеловеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего прочего, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать постлюдьми. Если мы примем это, то тогда любой сценарий, в котором переход к постчеловеческому миру отложен достаточно надолго, чтобы почти все современные люди умерли до этого (предполагая, что они не были успешно сохранены посредством крионики (Merkle 1994; Ettinger 1964)) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому постчеловечеству через 80 лет будет составлять значительный риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, отягощено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.
