На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

за мощью[553]. Если замедлить все аспекты нашего прогресса, то это, вероятно, лишь отложит катастрофу, но если сделать так, чтобы наша мощь росла медленнее по сравнению с мудростью, то это может существенным образом нам помочь.

На мой взгляд, более терпеливое и благоразумное человечество точно попыталось бы уменьшить этот разрыв. Главное, оно попыталось бы увеличить свою мудрость. Однако, если бы существовали пределы того, насколько быстро человечество может с этим справиться, было бы разумно замедлить рост его мощи – для этого необязательно нажимать на тормоз, достаточно немного ослабить давление на газ.

Мы убедились, что человечество напоминает подростка: его физические способности стремительно растут, но ему не хватает мудрости и самоконтроля, оно мало думает о своем долгосрочном будущем и имеет нездоровую тягу к риску. Когда речь идет о наших детях, общество специально ограничивает им доступ к сопряженным с риском технологиям: например, детям нельзя водить машину, пока они не достигнут определенного возраста и не сдадут экзамен на права.

Можно представить, как применить подобный подход к человечеству. Не запрещать определенные типы технологий, а применять их лишь после того, как мы докажем, что готовы к этому, поскольку выполнили заранее оговоренное условие. Например, не применять ядерные технологии, пока не пройдет сто лет с последней крупной войны. К несчастью, это очень трудно. В отличие от примера с детьми, здесь нет мудрых взрослых, которые устанавливают правила. Человечеству надо самому устанавливать правила для себя. Но те, кому недостает мудрости, обычно этого не понимают, а те, кому недостает терпения, вряд ли станут откладывать удовольствие до тех пор, пока не станут мудрее.

Хотя я считаю, что более зрелый мир действительно ограничил бы рост своих разрушительных способностей тем уровнем, на котором ими можно управлять, я не вижу смысла призывать к этому в настоящий момент. Чтобы предпринимать значительные усилия по замедлению прогресса, необходимо заключать международные соглашения между всеми ведущими игроками, поскольку в ином случае в наименее добросовестных странах работа просто продолжится. Мир очень далек от заключения таких соглашений, и потому немногочисленным людям, которых беспокоит экзистенциальный риск, нет смысла настаивать на замедлении, поскольку их усилия окажутся тщетными (а возможно, и контрпродуктивными).

Вместо этого нам стоит направить силы на лоббирование ответственного применения новых технологий и ответственного управления ими. Мы должны пояснить, что беспрецедентная власть, которую дают нам новые технологии, требует беспрецедентной ответственности: и для исполнителей, и для тех, кто отвечает за процесс.

Технологии колоссально повысили качество нашей жизни, но за это приходится платить. Они принесли с собой теневые издержки в форме риска[554]. Мы обращаем внимание на видимые выгоды, но накапливаем скрытый долг, который нам однажды, вероятно, нужно будет вернуть[555]. Если мы не замедлим темп технологического развития, то можем хотя бы пустить часть благ, которые оно дает нам, на обслуживание своего долга. Например, расходовать хотя бы 1 % выгод, которые приносят нам технологии, чтобы гарантировать, что дальнейший технологический прогресс не уничтожит потенциал человечества.

Осуществлять управление технологиями можно на многих уровнях. Очевиднее всего вверить его людям, которые и так управляют: политикам, гражданским службам и гражданскому обществу. Но мост можно строить с двух сторон, учитывая ценный вклад людей, работающих в соответствующих сферах науки и технологий: в университетах, в профессиональных обществах, а также в технологических компаниях. Те, кто занимаются технологиями на практике, могут уделять гораздо больше времени размышлениям об этических аспектах своей работы и работы своих коллег[556]. Они могут разработать собственные руководства и внутренние правила. Кроме того, они могут сотрудничать с чиновниками, чтобы обеспечивать научную и технологическую состоятельность национальных и международных регламентов[557].

Хорошим примером успешного регулирования служит Монреальский протокол, который определил сроки снятия с производства химических веществ, разрушающих озоновый слой. Его разработка шла очень быстро при тесном сотрудничестве ученых, чиновников и ведущих компаний, и Кофи Аннан назвал его “возможно, самым успешным международным соглашением на сегодняшний день”[558].

Другой пример – Асиломарская конференция о рекомбинантной ДНК, на которой ведущие ученые отрасли рассмотрели новые опасные возможности, открывшиеся в ходе их работы. В результате они составили новые требования к безопасности дальнейших исследований и полностью запретили некоторые их направления[559].

Любопытная, хотя и обойденная вниманием, сфера технологического регулирования – технологическое развитие[560]. Хотя предотвратить разработку рискованной технологии порой слишком сложно, мы можем попробовать снизить экзистенциальный риск, ускорив развитие защитных технологий в противовес опасным. Здесь в игру могут вступить спонсоры исследований, которые будут придерживаться этого принципа при объявлении конкурсов на финансирование и распределении грантов, добавляя веса защитным технологиям. Кроме того, это было бы полезно и для ученых, выбирающих из нескольких перспективных исследовательских программ.

Риски состояния и риски переходного периода

Если человечество каждое столетие сталкивается с серьезным риском, наше положение неустойчиво. Не стоит ли попытаться преодолеть этот рискованный период как можно скорее? Ответ зависит от того, с риском какого типа мы имеем дело.

Некоторые риски связаны с пребыванием в уязвимом состоянии. Назовем их рисками состояния[561]. В эту категорию входят многие природные риски. Человечество остается уязвимым для астероидов, комет, мегаизвержений, взрывов сверхновых и гамма-всплесков. Чем дольше мы пребываем в состоянии, где мы уязвимы и находимся под угрозой, тем выше совокупная вероятность того, что нам не удастся устоять. Вероятность нашего выживания на протяжении длительного времени описывается падающей экспонентой, и период, за который она уменьшается вдвое, определяется уровнем годового риска[562]. В случае с рисками состояния чем раньше мы справимся со своей уязвимостью, тем лучше. Если для этого нам необходимы технологии, нужно как можно быстрее их разработать.

Но существуют и другие риски[563]. Есть риски переходного периода, которые возникают в процессе перехода к новому технологическому или общественному режиму. Например, таковы риски, связанные с разработкой и применением прогрессивного ОИИ, а также риски изменения климата при переходе нашей цивилизации в высокоэнергетическое состояние. Ускорение перехода никак не может способствовать снижению этих рисков, зато легко может их повысить. Но если переход необходим или весьма желателен, нам, возможно, придется в какой-то момент его совершить, поэтому попытка оттянуть его не решит проблему, а возможно, даже усугубит. Как правило, при работе с такими рисками рекомендуется не спешить, но и не медлить, проявляя дальновидность и осмотрительность.

Мы сталкиваемся с целым рядом рисков, включая риски состояния и риски переходного периода[564].