Может ли искусственный интеллект Действительно убивать людей?

Многие люди считают, что однажды ИИ приведёт к вымиранию человечества. Немного математики — и мы понимаем, что это будет не так просто

Автор: Майкл Дж. Д. Вермеер

Искусственный Интеллект

Мнение

Существует популярное научно-фантастическое клише о том, что однажды искусственный интеллект выйдет из-под контроля и уничтожит всех людей, стерев с лица земли человеческий род. Может ли это произойти на самом деле? В реальных опросах исследователи ИИ говорят, что считают вымирание человечества вероятным результатом развития ИИ. В 2024 году сотни таких исследователей подписали заявление, в котором говорилось: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».

Ладно, ребята.

Вакцины и ядерная война — это реальные, осязаемые угрозы, более серьёзные, чем гибель из-за ИИ, по крайней мере для меня, учёного из корпорации RAND. Мы проводим всевозможные исследования по вопросам национальной безопасности и, возможно, наиболее известны своей ролью в разработке стратегий по предотвращению ядерной катастрофы во время холодной войны.

RAND серьёзно относится к серьёзным угрозам человечеству, поэтому я, скептически настроенный в отношении потенциала ИИ привести к вымиранию человечества, предложил проект по исследованию того, может ли это произойти.

Гипотеза моей команды заключалась в следующем: невозможно описать сценарий, при котором ИИ однозначно представляет собой угрозу вымирания человечества. Другими словами, наша исходная гипотеза заключалась в том, что люди слишком легко приспосабливаются, их слишком много и они слишком рассредоточены по планете, чтобы ИИ мог уничтожить нас, используя любые инструменты, гипотетически имеющиеся в его распоряжении. Если бы мы смогли опровергнуть эту гипотезу, это означало бы, что ИИ может представлять собой реальную угрозу вымирания человечества.

Многие люди оценивают катастрофические риски, связанные с ИИ. В самых крайних случаях некоторые утверждают, что ИИ станет сверхразумом и с почти стопроцентной вероятностью будет использовать новые передовые технологии, такие как нанотехнологии, чтобы захватить власть и уничтожить нас.

Прогнозисты предсказывали вероятность экзистенциального риска, связанного с катастрофой, вызванной ИИ, часто называя вероятность того, что ИИ приведёт к вымиранию человечества к 2100 году, от 0 до 10 процентов. Мы скептически относились к ценности подобных прогнозов для разработки политики и снижения рисков.

Наша команда состояла из учёного, инженера и математика. Мы отбросили все сомнения в отношении ИИ и — в духе RAND — приступили к подробному описанию того, как ИИ может привести к вымиранию человечества. Нам было недостаточно простой глобальной катастрофы или краха общества. Мы пытались серьёзно отнестись к риску вымирания, а это означало, что нас интересовало только полное уничтожение нашего вида. Нас также не интересовало, попытается ли ИИ нас убить, — только то, сможет ли он добиться успеха.

Это была непростая задача. Мы подошли к ней, проанализировав, как именно ИИ может использовать три основные угрозы, которые обычно считаются экзистенциальными рисками: ядерную войну, биологические патогены и изменение климата.

Оказывается, ИИ очень сложно — хотя это и не совсем невозможно — убить нас всех.

Рекомендуемые истории

Тайное совещание, на котором математики пытались перехитрить ИИ

Линди Чиу

Дети видят гораздо больше дезинформации, чем мы думаем

Эван Ортисио

Чат-бот Grok от Илона Маска повторяет тезисы об отрицании изменения климата

Скотт Уолдман & Новости E & E

DolphinGemma может обеспечить связь искусственного интеллекта с дельфинами

Мелисса Хобсон, Рэйчел Фелтман, Фонда Мванги & Алекс Сугиура

Хорошая новость, если я могу так её назвать, заключается в том, что мы не думаем, что ИИ может убить нас всех с помощью ядерного оружия. Даже если бы ИИ каким-то образом получил возможность запустить все более 12 000 боеголовок в глобальном ядерном арсенале девяти стран, взрывы, радиоактивные осадки и ядерная зима, которая за этим последует, скорее всего, не приведут к вымиранию.

Людей слишком много, и они рассредоточены, чтобы взрывы могли убить всех нас. ИИ мог бы взорвать оружие во всех наиболее богатых топливом районах планеты, но всё равно не смог бы произвести столько же пепла, сколько метеорит, который, вероятно, уничтожил динозавров. Кроме того, на планете недостаточно ядерных боеголовок, чтобы полностью облучить все пригодные для сельского хозяйства земли.

Другими словами, ядерный Армагеддон, инициированный ИИ, был бы катастрофическим, но, скорее всего, не уничтожил бы всех людей, потому что некоторые люди выжили бы и у них был бы потенциал для восстановления вида.

С другой стороны, мы считаем пандемии вероятной угрозой вымирания. Предыдущие эпидемии были катастрофическими, но человеческие сообщества выжили и продолжили развиваться. Даже минимальная популяция (вероятно, несколько тысяч человек) в конечном итоге может восстановить вид. Гипотетически смертельный на 99,99% патоген оставит в живых более 800 000 человек.

Однако мы пришли к выводу, что можно создать комбинацию патогенов, которая будет почти на 100% смертоносной, и ИИ можно использовать для распространения таких патогенов таким образом, чтобы обеспечить быстрый глобальный охват. Ключевое ограничение заключается в том, что ИИ должен будет каким-то образом заразить или иным образом уничтожить сообщества, которые неизбежно изолируют себя, столкнувшись с пандемией, способной привести к вымиранию вида.

Наконец, если бы ИИ ускорил обычное антропогенное изменение климата, это всё равно не стало бы угрозой вымирания для всего человечества. Люди, скорее всего, нашли бы новые экологические ниши, в которых можно было бы выжить, даже если бы для этого пришлось переселиться на полюса Земли. Чтобы сделать Землю полностью непригодной для жизни людей, ИИ должен был бы впрыснуть в атмосферу что-то гораздо более мощное, чем углекислый газ. Это хорошая новость.

Плохая новость заключается в том, что эти гораздо более мощные парниковые газы существуют. Их можно производить в промышленных масштабах. И они сохраняются в атмосфере сотни или тысячи лет. Если ИИ сможет избежать международного контроля и организовать производство нескольких сотен мегатонн этих химических веществ (что меньше, чем масса пластика, который люди производят каждый год), этого будет достаточно, чтобы нагреть Землю до такой степени, что для человечества не останется экологической ниши.

Я хочу прояснить: ни один из наших сценариев вымирания ИИ не может произойти случайно. Каждый из них будет чрезвычайно сложным для реализации. ИИ каким-то образом придётся преодолеть серьёзные ограничения.

В ходе нашего анализа мы также определили четыре характеристики, которыми должен обладать наш гипотетический сверхзлодейский ИИ: во-первых, он должен каким-то образом поставить перед собой цель вызвать вымирание. ИИ также должен получить контроль над ключевыми физическими системами, создающими угрозу, такими как системы управления запуском ядерного оружия или инфраструктура химического производства.

Ему нужна способность убеждать людей помогать ему и скрывать свои действия достаточно долго, чтобы добиться успеха. И он должен быть способен выживать без поддержки со стороны людей, потому что даже если общество начнёт разрушаться, потребуются дальнейшие действия, чтобы вызвать полное вымирание.

Если бы ИИ не обладал всеми четырьмя этими возможностями, наша команда пришла бы к выводу, что проект по его уничтожению провалился бы. Тем не менее вполне возможно создать ИИ, обладающий всеми этими возможностями, даже непреднамеренно. Более того, люди могут намеренно создать ИИ, обладающий всеми четырьмя этими возможностями. Разработчики уже пытаются создать агентный, или более автономный, ИИ, и они уже наблюдали за ИИ, способным к интригам и обману.

Но если вымирание является вероятным результатом развития ИИ, разве это не означает, что мы должны следовать принципу предосторожности? То есть: лучше перестраховаться, чем потом жалеть? Мы считаем, что ответ — нет. Подход «закрой всё и забудь» уместен только в том случае, если нас не волнуют преимущества ИИ.

К лучшему или к худшему, но мы очень беспокоимся о преимуществах, которые, вероятно, принесёт ИИ, и было бы неправильно отказываться от них, чтобы избежать потенциальной, но крайне маловероятной катастрофы, даже такой серьёзной, как вымирание человечества.

Так что же, ИИ однажды убьёт нас всех? Не будет преувеличением сказать, что это возможно. В то же время наша работа показала, что людям не нужна помощь ИИ, чтобы уничтожить самих себя. Один из надёжных способов снизить риск вымирания, независимо от того, связан он с ИИ или нет, — это повысить наши шансы на выживание, сократив количество ядерного оружия, ограничив использование химических веществ, нагревающих планету, и улучшив наблюдение за пандемиями.

Также имеет смысл инвестировать в исследования в области безопасности ИИ, независимо от того, согласны ли вы с тем, что ИИ представляет потенциальную угрозу вымирания. Те же подходы к ответственному развитию ИИ, которые снижают риск вымирания, также снизят риски, связанные с другими видами вреда, причиняемого ИИ, которые менее значительны и менее неопределённы, чем экзистенциальные риски.

Это статья с анализом и мнением, и взгляды, выраженные автором или авторами, не обязательно отражают точку зрения журнала Scientific American.

Права и разрешения

Другие работы Майкла Дж. Д. ВермеераМайкл Дж. Д. Вермеер — старший научный сотрудник RAND, занимающийся исследованиями в области науки и технологий, связанными с национальной безопасностью, уголовным правом, разведывательным сообществом и вооружёнными силами. Он специализируется на оценке возможностей и рисков для безопасности, связанных с новыми технологиями. Он имеет степень доктора философии в области неорганической химии.

https://www.scientificamerican.com/article/could-ai-really-kill-off-humans/