Ни одно из направлений исследований в области новых технологий не может обеспечивать свою безопасность само по себе

Общепринятой практикой является отделение контролирующих органов от объектов контроля. Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт «Коммерческая биотехнология»[138] перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, а потом сам же публикует на них опровержения. Или схожая ситуация в случае с реакторами: сторонники АЭС будут тратить свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна.

Ошибочное представление о том, что проблемы надо решать по мере их поступления.

Наиболее серьёзные проблемы, как правило, возникают внезапно. Например, несчастные случаи. Чем серьёзнее проблема, тем больше её энергия и быстрее темп её развития. И, соответственно, тем труднее к ней готовиться. Глобальные катастрофы – это мощные проблемы. поэтому они могут развиваться слишком быстро, для того чтобы было время на подготовку к ним в процессе. Кроме того, у нас нет опыта, который позволил бы определить предвестников глобальной катастрофы.

Конкретные риски воспринимаются как более опасные, чем риски описанные в общих словах.

Например, "мятеж на ядерной подводной лодке" выглядит более устрашающим, чем "крупная морская катастрофа". Юдковски пишет: «С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной… Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной» [Yudkowsky 2008b].

Представления о том, что мышление о глобальных рисках – пессимистично.

Это приводит к тому, что людей, думающих о «конце света», осуждают – а значит, и отрицают их идеи. Но по минному полю надо идти осознано: танцевать на нём с закрытыми глазами – это не оптимизм.