На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

ракет противника, потратив лишь тридцать минут на подготовку, и поэтому обе стороны перевели многие ракеты в “состояние повышенной готовности”, благодаря чему их можно запускать всего за десять минут[64]. При таком уровне готовности ракеты очень легко запустить случайно или намеренно при ложной тревоге. Как мы увидим в четвертой главе, леденящий душу список ложных тревог продолжает пополняться и по завершении холодной войны. В более длительной перспективе также существует риск, что другие страны создадут собственные огромные арсеналы, что инновации в военных технологиях подорвут логику сдерживания путем устрашения и что сдвиги в геополитической сфере приведут к началу новой гонки вооружения с участием крупных держав.

Человечеству угрожает не только ядерное оружие. Наше внимание направлено именно на него, поскольку оно стало первым серьезным риском и уже грозило человечеству. Но есть и другие риски.

Экспоненциальное повышение благосостояния, которое подтолкнула промышленная революция, сопровождалось стремительным ростом объема выбросов углекислого газа. Незначительный побочный эффект индустриализации в конце концов вылился в глобальную угрозу здоровью, окружающей среде, международной стабильности и, возможно, даже всему человечеству.

Ядерное оружие и изменение климата имеют поразительные сходства и различия. В обоих случаях человечеству грозят существенные сдвиги в температуре Земли, но эти сдвиги направлены в разные стороны. Один из них – результат непредсказуемого научного прорыва, другой – продолжение векового развития старых технологий. Один связан с малым риском внезапной и резкой катастрофы, другой предполагает длительный, постепенный процесс с отложенным началом, где катастрофа в некоторых масштабах неизбежна и неясно только, насколько серьезной она будет. Один сопряжен с секретной военной технологией, контролируемой горсткой могущественных людей, другой – с совокупностью малых воздействий на мир со стороны каждого из его обитателей.

Технологии продолжают развиваться, и на горизонте возникают новые угрозы. Эти угрозы, вероятно, будут похожи скорее на ядерное оружие, чем на изменение климата: они будут возникать из-за неожиданных прорывов, приводить к резким катастрофам и связываться с действиями небольшого числа лиц. Меня особенно заботят две зарождающиеся технологии, которым будет посвящена пятая глава.

С самой неолитической революции мы меняли геном растений и животных, чтобы удовлетворять свои нужды. Но открытие генетического кода и создание инструментов, позволяющих читать и переписывать его, привело к резкому расширению нашей способности перестраивать жизнь с новыми целями. Внедрение биотехнологий приведет к значительному прогрессу в медицине, промышленности и сельском хозяйстве. Но возникнут и риски для цивилизации и самого человечества, и их источниками будут как случайности, которые могут произойти при санкционированных исследованиях, так и возможность создания биологического оружия.

Мы также наблюдаем стремительное расширение способностей систем искусственного интеллекта (ИИ), причем самый серьезный прогресс наблюдается в тех областях, где ИИ традиционно был слабее всего, таких как восприятие, обучение и общий интеллект. Специалисты полагают, что в этом столетии человеческие способности превзойдет не только узкий ИИ, но и общий, то есть умеющий преодолевать разнообразные препятствия для достижения поставленных целей. Человечество смогло обрести контроль над миром именно благодаря своим непревзойденным умственным способностям. Если мы уступим пальму первенства машинам, именно они в итоге займут наше уникальное положение. Это должно заставить нас задуматься, почему именно человечество и дальше будет править миром. Нам нужно научиться соотносить цели все более умных и автономных машин с интересами человечества, и сделать это необходимо прежде, чем такие машины станут сильнее нас.

Эти угрозы человечеству и наши ответы на них определяют наше время. Появление ядерного оружия создало реальный риск уничтожения человечества в XX веке. Технологии развиваются все быстрее, а серьезных усилий для защиты человечества не прикладывается, поэтому есть все основания полагать, что в текущем столетии риск станет еще выше и будет расти с каждым веком, пока продолжается технический прогресс. Поскольку такие антропогенные риски превосходят все природные риски, вместе взятые, именно они определяют, сколько у человечества времени, чтобы отойти от края пропасти.

Я не утверждаю, что вымирание – это неизбежный итог научного прогресса или даже самый вероятный его результат. Я утверждаю, что человечество становится все могущественнее и уже достигло той точки, когда само создает серьезную угрозу собственному существованию. Нам решать, как мы будем работать с этим риском.

Я не призываю и к отказу от технологий. Технологиям принадлежит огромная заслуга в улучшении благосостояния человечества. Кроме того, без технологий человечество не сумеет раскрыть свой потенциал в долгосрочной перспективе. В отсутствие технологий мы были бы обречены из-за совокупного риска таких природных катастроф, как падение астероидов. В отсутствие технологий мы никогда не придем к истинному процветанию, хотя мы могли бы его достичь.

Проблема не столько в переизбытке технологий, сколько в недостатке мудрости[65]. Особенно хорошо об этом сказал Карл Саган:

Большинство угроз, с которыми мы сталкиваемся, действительно обусловлены наукой и технологиями, но на более фундаментальном уровне они вызваны тем, что мы стали могущественнее, при этом не став соизмеримо мудрей. Средства изменения миров, полученные нами благодаря технологии, требуют такой осмотрительности и дальновидности, которые не требовались нам никогда ранее[66].

Адвокатом этой идеи выступает даже бывший президент США:

Сама искра, которая служит отличительной особенностью нашего вида, – наши мысли, наше воображение, наш язык, наше умение изготавливать инструменты, наша возможность отстраняться от природы и подчинять ее своей воле – всё это также дает нам беспрецедентные способности к разрушению… Технологический прогресс, не сопровождаемый эквивалентным прогрессом в сфере человеческих институтов, обречет нас на гибель. Научная революция, которая привела к делению атома, требует и революции в моральной сфере[67].

Нам нужно обрести эту мудрость, пережить моральную революцию. Поскольку вымирание необратимо, нельзя откладывать дела на потом и ждать, когда угроза воплотится в жизнь. Необходимо действовать заблаговременно. Мудрость не обрести, а моральную революцию не начать в одночасье, поэтому нам пора браться за дело.

Думаю, мы, скорее всего, переживем этот период. Не потому, что трудности незначительны, а потому, что мы сумеем с ними справиться. Упомянутые риски проистекают из действий человека, и одно это показывает, что человек в состоянии на них ответить[68]. Пораженчество неуместно и контрпродуктивно, как самосбывающееся пророчество. Нам следует работать с этими рисками, рассуждая трезво и беспристрастно и руководствуясь позитивным видением будущего, которое мы стараемся защитить.

Как серьезны эти риски? Сложно точно ответить на этот вопрос, ведь речь идет о комплексных (то есть не поддающихся простому математическому анализу) и беспрецедентных (то есть не подлежащих аппроксимации по частоте возникновения в долгосрочной перспективе) рисках. И все же очень важно хотя бы попытаться дать количественную оценку. Такие качественные утверждения,