Ошибка, связанная с интеллектуальной проекцией

Эта ошибка возникает, когда мы неосознанно приписываем предметам обладание свойствами, которые на самом деле существуют только в наших представлениях о них. Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым», потому что он нас не убивает. Юдковски её определяет так: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку возникающую потому, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)»

79. Представление о том, что изменять обстоятельства следует, уничтожая их причины. Однако спичка, от которой загорелся пожар, уже погасла. Стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территории.

80. Забвение основного принципа медицины – «Не навреди!» А вот другая формулировка этого принципа: «Когда не знаешь что делать, – не делай ничего». За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут. Транслируя этот принцип на наш предмет, – глобальные катастрофы, можно сказать, что попытки их предотвращения могут, напротив, усугубить положение вещей.

81. Путаница между объективными и субъективными врагами. Когда некто преследует цели, мешающие моим целям, он является моим объективным врагом. (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично мое эго, меня. Это понятие сходно с кровной местью. И ловушка тут в том, что объективный враг начинает восприниматься как субъективный. Это подобно тому, чтобы, стоя перед мчащимся поездом, заявить, что именно он вознамеривается уничтожить меня. Однако между людьми бывает и реальные ситуации «субъективной» вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей. Применительно к глобальным рискам это означает, что люди, которые могут уничтожить мир, вовсе не будут лично ко мне злы или выглядеть как исчадия ада. Это могут быть честные, благородные, красивые люди, которые совершат некую очень маленькую и неочевидную ошибку.

82. предсказания или мечты о катастрофе, на самом деле обусловленные завистью. Яркий пример этого – множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.) Один из вариантов того, когда неосознаваемые желания могут влиять на описание действительности.

83. Страх утраты идентичности. Нежелание изменяться, трансформироваться, которое свойственно системе, связано с тем, что она опасается потерять самое себя. То есть для системы утратить свои определяющие свойство – равносильно смерти. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности. То есть предпочесть глобальную катастрофу трансформации того мира, в котором он живёт.

84. Понятная катастрофа может быть привлекательнее непонятного будущего. В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации.) Непонятное может вызывать страх.

85. Неправильное применение философского правила «бритва Оккама». Мы не должны отсекать сложные гипотезы на основании бритвы Оккама. Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и это не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!

86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта. Вот что пишет Юдковски [Yudkowsky 2008b] в связи с уже упоминавшимися дамбами: «Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что появился повод для беспокойства. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, таким образом, видимо, создавая фальшивое чувство безопасности, которое ведет к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения с построенными дамбами настолько возрастает, что среднегодовой ущерб, в конечном счете, увеличивается. Кажется, что люди не способны экстраполировать пережитые малые опасности на возможность более серьёзного риска; напротив, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков».