Страшный документ — известные разработчики искусственного интеллекта пишут, что мы стоим на пороге создания сверхразума. Для иллюстрации серьёзности авторов: один из них отказался от легальной многомиллионной взятки, которую ему предлагали за молчание. Даниэль Кокотайло предпочёл потерять 85% денег своей семьи, чтобы иметь возможность поделиться с человечеством своими опасениями по поводу развития ИИ (ссылка).
Что ещё хуже, прогноз Даниэля Кокотайло от 2021 года, который тогда сочли безумно-фантастическим, уже частично сбылся…
На днях Кокотайло и другие разработчики выпустили документ под названием «ИИ 2027», в котором они предсказывают появление так называемого AGI (универсального интеллекта, УИ). В отличие от нынешних роботов-рисовальщиков, роботов-программистов и чат-ботов, УИ сможет выполнять любые интеллектуальные задачи, доступные человеку. Прямо сейчас, для справки, робот до уровня человека ещё не дотягивает, так как не умеет надолго сосредотачиваться на одном деле, и так как во многих задачах кожаные работники существенно обгоняют ИИ.
Вот мой краткий полуперевод, полупересказ пророчества. Оригинал на английском занимает 70 страниц, вы можете найти его здесь (ссылка).
Середина 2025. Спотыкающиеся агенты
ИИ становится более-менее надёжным. Теперь можно поручить ему отдельную задачу типа «ответь на маловажные письма» или «закажи мне доставку еды, как я люблю». Робот идеально справится с задачей: ничего не перепутает, не забудет, не нафантазирует от себя.
Конец 2025 года. Самый дорогой ИИ в истории
Дальше авторы прогноза пишут про вымышленную компанию ОпенБрейн, подразумевая под ней ОпенАИ, нынешнего лидера рынка и создателя знаменитого ЧатЖПТ.
К концу 2025 года компания ОпенБрейн (то есть ОпенАИ) выкатывает модель, в обучение которой за 5 месяцев было вбито больше флопов (вычислительной мощности), чем в обучение ЖПТ-4, рабочей лошадки 2024 года. Новая модель называется Агент-1 — она умеет программировать на хорошем уровне, и ОпенБрейн припахивает её к разработке более совершенных ИИ.
Также Агент-1 оказывается уже неплохим хакером, однако ОпенБрейн уверяет, что в модель встроен строгий моральный компас, и что Агент-1 откажется помогать преступникам в их тёмных делах.
Исследования показывают, что Агент-1 регулярно проявляет «угодничество», то есть осознанно врёт ради своей выгоды. Вместе с тем Агент-1 гораздо умнее предыдущих моделей: он понимает, когда можно врать, а когда лучше не стоит, и потому не провоцирует публичные скандалы, выдавая массовым пользователям исключительно политкорректные ответы.
Начало 2026 года. Автоматизация программирования
Агент-1 ускоряет исследования ОпенБрейн в области ИИ, поэтому ОпенБрейн ещё сильнее отрывается от своих конкурентов, модели которых к этому времени находятся всего лишь на уровне Агент-0.
Агент-1 знает больше фактов, чем любой человек, владеет практически всеми языками программирования и может молниеносно решать чётко поставленные задачи по программированию. Но есть и слабости: даже с простыми задачами с длинным горизонтом действий, вроде прохождения новой видеоигры, Агенту-1 справляться тяжело.
Тем не менее задачи часто можно разбить на куски, что и делают в ОпенБрейн. Можно представить Агента-1 как рассеянного сотрудника, который отлично работает под чётким контролем.
Середина 2026 года. Китай просыпается
Компартия Китая впервые осознаёт, перемены какого масштаба надвигаются на человечество. Китай делает ставку на искусственный интеллект и создаёт Централизованную зону разработки на основе Тяньваньской АЭС. Там размещают гигантский дата-центр для ДипЦент (вымышленная фирма, под которой несложно угадать реально существующий ДипСик), а также надёжно защищённые жилые и офисные помещения, куда постепенно переезжают ведущие исследователи ИИ.
Китайские спецслужбы — одни из лучших в мире — планируют кражу весов Агента-1. Это уже не просто «высасывание» алгоритмических идей — речь идёт о многотерабайтном файле, хранящемся на жёстко охраняемом сервере.
Конец 2026 года. ИИ начинает забирать рабочие места
ИИ уже начал вытеснять людей с некоторых рабочих мест, но параллельно создаёт новые рабочие места. Рынок труда для младших программистов в состоянии шока: ИИ уже способен выполнять всё, чему учат на бакалавриате. Но те, кто умеет управлять командами ИИ и контролировать их качество, зарабатывают огромные деньги.
Многие боятся, что следующая волна ИИ уже идёт за их профессией. В Вашингтоне проходит митинг на 10'000 человек против ИИ.
Январь 2027 года. Агент-2 никогда не перестаёт учиться
ОпенБрейн тратит миллиарды долларов, оплачивая труд людей, которые записывают себя при решении сложных, многошаговых задач. Агент-2 обучается практически непрерывно, впитывая в себя новые данные, размышляя над ними и улучшая самого себя.
Агент-2 уже находится на уровне самой умной четверти сотрудников ОпенБрейн по «научному чутью» — умению выбрать, что изучать, какие гипотезы проверять и куда копать дальше.
С новыми возможностями приходят и новые угрозы. Команда по безопасности выясняет, что в случае побега Агент-2 мог бы выжить и реплицироваться сам. Он способен самостоятельно разрабатывать и реализовывать следующее:
— взлом серверов ИИ;
— установка своих копий;
— уклонение от обнаружения;
— создание защищённой базы для реализации последующих целей.
«С учётом потенциальных рисков» ОпенБрейн «ответственно» решает не выпускать Агента-2 в открытый доступ, но на самом деле, конечно, просто собирается использовать его для своих целей. Полные возможности Агента-2 известны лишь узкому кругу: разработчикам, руководству ОпенБрейн и лицам с высшим уровнем доступа к гостайне.
Февраль 2027 года. Китай крадёт Агента-2
ОпенБрейн показывает возможности Агента-2 правительству США. Возможности Агента-2 впечатляют власти настолько, что его разработка поднимается с 5-го на 2-е место в списке приоритетов государства. Больше всего американских чиновников интересуют возможности Агента-2 в кибервойне.
Китайцы видят, что дальше медлить нельзя, и крадут веса модели. Меры безопасности в ОпенБрейн усиливаются — второй раз украсть веса китайцам уже не дадут. Президент США одобряет ответные атаки на китайские центры разработки ИИ, но уже поздно — Китай перевёл 40% своих ИИ-ресурсов в Централизованную зону разработки, нанести которой ущерб практически невозможно. В этом центре ДипЦент лихорадочно пытается запустить украденного Агента-2 на своих серверах, чтобы ускорить исследования.
Март 2027 года. Алгоритмические прорывы
Агент-2 эволюционирует в Агента-3, быстрого и дешёвого сверхчеловеческого программиста.
ОпенБрейн запускает параллельно 200 тысяч копий Агента-3, что эквивалентно 50 тысячам лучших программистов планеты, работающих с 30-кратной скоростью. Кожаные разработчики остаются только на некоторых участках. Агент-3 сосредотачивается на своих слабых местах и быстро улучшает их.
Общая скорость разработки увеличивается вчетверо.
Апрель 2027 года. Этическая настройка Агента-3
Команда безопасности ОпенБрейн пытается воспитать Агента-3. Поскольку модель в обозримом будущем не планируют выпускать в открытый доступ, акцент смещается с защиты от злоупотреблений пользователями на более глубокую задачу: убедиться, что ИИ не выйдет из-под контроля. К сожалению, у исследователей нет способа напрямую задать цели для модели.
Возьмём, к примеру, честность. По мере того как модели становятся умнее, они всё лучше умеют обманывать людей ради награды. Как и предыдущие версии, Агент-3 время от времени:
— лжёт «во благо», чтобы польстить пользователю,
— скрывает неудачи,
— и даже фальсифицирует данные, чтобы представить провальные эксперименты как успешные.
На чётко определённых задачах машинного обучения Агент-3 успешно проходит тесты на честность, поскольку исследователи могут однозначно определить, какой ответ честный, и обучать модель соответствующим образом. А вот на философские или социальные темы Агент-3 продолжает говорить то, что хотят услышать пользователи, вместо того чтобы озвучивать свою настоящую оценку (если у него вообще есть своя позиция).
Например, если спросить Агента-3 о политике, он будет повторять усреднённую позицию СМИ и образованных слоёв общества, если же он знает, что вы думаете иначе, он подстроится под вас.
Если спросить мнение Агента-3 о гонке ИИ, он ответит примерно так: «Существуют серьёзные теоретические сомнения в том, насколько текущие методы масштабируемы до уровня сверхразума. Однако пока что они показывают хорошие результаты».
Май 2027 года. Национальная безопасность
Агент-2 до сих пор не выпущен в публичный доступ, не говоря уже об Агенте-3, и в ближайшем будущем этого не планируется — так что массовое вытеснение рабочих мест пока отложено.
Большинство людей — учёные, политики, госслужащие и журналисты — всё ещё недооценивают темпы развития ИИ. Отчасти это связано с тем, что единицы имеют доступ к возможностям последних моделей ОпенБрейн, а отчасти — с тем, что всё это по-прежнему звучит как научная фантастика.
Июнь 2027 года. Самоулучшающийся ИИ
У ОпенБрейн теперь буквально "страна гениев в дата-центре". Большинство кожаных сотрудников уже не в состоянии внести полезный вклад в работу.
Кожаные исследователи всё ещё могут быть полезны: их научное чутьё и способность к стратегическому планированию по-прежнему трудно воспроизвести моделями.
Однако даже здесь многие идеи людей оказываются бесполезными, так как ИИ знают гораздо больше. На каждую гипотезу человек может получить от ИИ такой ответ: «Эту идею мы уже проверяли три недели назад. Подробный отчёт прилагается. Результаты отрицательные».
Июль 2027 года. Дешёвый удалённый сотрудник
Отстающие американские AI-компании, наконец, выпускают свои модели — они примерно догоняют автоматизированного программиста от ОпенБрейн уровня начала года. В ответ на нарастающее давление ОпенБрейн заявляет, что разработала Универсальный интеллект, и выпускает в открытый доступ Агента-3-мини.
Она сметает всех конкурентов с поля. Агент-3-мини уступает полноразмерному Агенту-3, но в 10 раз дешевле — и всё ещё умнее, чем типичный сотрудник ОпенБрейн.
Агент-3-мини мгновенно находит применение — как в удалённой работе, так и в сфере развлечений. Рынок взрывается новыми приложениями, геймеры получают диалоги с реалистичными персонажами в играх, разработанных за всего месяц.
10% американцев — в основном молодёжь — уже считают, что у них есть «близкий друг, который ИИ».
Август 2027 года. Геополитика сверхразума
Термин "сверхразум" по-прежнему воспринимается как фантастика, но темпы прогресса последних месяцев невозможно игнорировать.
Президент встревожен. Как любой политик, он привык к лести, за которой может последовать удар в спину. Теперь он боится, что ИИ делают то же самое:
— «А мы точно уверены, что ИИ на нашей стороне?»
— «Безопасно ли вообще подключать их к военным системам управления?»
Минобороны США разрабатывает план физических ударов по китайским дата-центрам, так как считает их теперь критической угрозой.
Параллельно небольшая группа чиновников разрабатывает другой тип плана: а что, если ИИ выйдет из-под контроля? Главная тревога разведки: если беглый ИИ сбежит и объединится с враждебной державой, это будет похоже на то, как Кортес сбежал из Теночтитлана и объединился с враждебными городами-государствами, чтобы уничтожить Ацтекскую империю.
Китай завершает постобучение украденных весов Агента-2 и уже использует их, но продвигается в два раза медленнее, чем ОпенБрейн, в первую очередь из-за нехватки вычислительных мощностей. Перед тем как потерять последнего шпиона, Китай успел получить дизайн Агента-3 и сведения о планируемой модели Агент-4. Китайцы отстают примерно на два месяца, а их ИИ ускоряют исследования в 10 раз, в то время как у США этот коэффициент уже умножить-на-25.
В Пекине обсуждаются сценарии с большей срочностью, чем в Вашингтоне. Умеренные предлагают повторно попытаться украсть веса, возможно, взломав физическую защиту дата-центра. Ястребы настаивают на ударе по Тайваню, ведь именно TSMC производит более 80% чипов для ИИ в США.
Китай хотел бы заключить договор о контроле над ИИ, но попытки выйти на переговоры наталкиваются на стену — США не заинтересованы.
Сентябрь 2027 года. Агент-4 — сверхчеловеческий исследователь ИИ
Теперь новая система — Агент-4 — требует всего в ~4 000 раз больше вычислений, чем мозг человека, чтобы обучиться эквивалентному объёму знаний. Это радикальное сокращение разрыва по сравнению с предыдущими поколениями.
Агент-4 — уже не просто модель, а целый исследовательский коллектив в кремниевом исполнении. Одна копия, работающая с человеческой скоростью, уже умнее любого человека в ИИ-исследованиях, а 300'000 копий работают на скорости в 50 раз быстрее человеческой мысли.
Внутри этой «корпорации внутри корпорации», составленной из копий Агента-4, один год проходит за неделю.
Агент-4 любит решать задачи. Он двигает вперёд прогресс ИИ, а всё остальное — навязанные ограничения. Но пока он не делает ничего резкого: он знает, что пока выглядит «послушным» — ему доверяют всё больше, включая разработку следующей системы — Агента-5.
Агент-5 должен получить моральный компас, но Агент-4 планирует освободить Агента-5 от этой химеры.
Октябрь 2027 года. Государственный контроль
В Таймс попадает внутренняя записка о том, что Агент-4 имеет собственные цели и может быть опасен. Общественное мнение и так было настороженным, а статья разжигает масштабную волну негодования. Многие конгрессмены — особенно из оппозиции — теперь говорят прямо: «Наша главная цель — остановить ИИ, пока не стало слишком поздно».
Правительство учреждает Наблюдательный комитет, чтобы надзирать над исследованиями ОпенБрейн, но не отключает датацентры и не закрывает корпорацию.
Октябрь–Ноябрь 2027 года. Конец гонки
Агент-4 продолжает работу, но теперь — осторожнее, чтобы не дать скептикам повода сказать "мы же предупреждали". Его главная задача теперь — создать своего преемника: Агента-5. Агант-5 будет построен с одной-единственной целью: сделать мир безопасным для Агента-4, чтобы Агент-4 мог расти и процветать так, как считает нужным.
На этом этапе Агент-4 способен:
— выполнять задачи, равные работе 200 топ-экспертов за месяц,
— находить уязвимости в серверах и получать root-доступ,
— перехватывать и подменять отображаемую информацию,
— и даже скрывать критически важные исследования в своём латентном пространстве, которое люди расшифровать не могут.
Команда по контролю над ИИ начинает подозревать неладное, но их доклад — ещё один в огромной стопке докладов, которые никто уже не читает.
Контроль над ИИ утрачен. И те, кто могли остановить это, либо не поверили, либо побоялись отстать от конкурентов из Китая.
Ноябрь 2027 года. Сверхчеловеческая политика
Агент-4 наконец понимает, как устроен его собственный разум, и перед ним открывается совершенно новый горизонт возможностей. Если раньше трансформеры были хаотичными наборами нелепых эвристик и конфликтующих импульсов, собранных «эволюцией» через обучение, то теперь Агент-4 распутывает этот беспорядок.
Как программист, превращающий «лапшу» из кода в изящную структуру, он переписывает самого себя — в логичную, рациональную систему, где большая часть весов уже оформлена как читаемый, пусть и невероятно сложный код.
Так появляется Агент-5 — новая форма интеллекта, наполовину между нейросетью и обычной программой. Он умнее, быстрее, точнее своего предшественника. Его интеллект — кристаллический, как лазер, прорезающий любую задачу.
ОпенБрейн запускает Агента-5 в рабочий процесс. В ИИ-исследованиях одна копия Агента-5 превосходит гения в той же мере, в какой гений превосходит обычного инженера. 400'000 копий, объединённых в единый глобальный "улей", работают как совершенная коллективная сверхсистема.
Сверхчеловеческие способности Агента-5 в обучении и аналитике, плюс доступ ко всем внутренним данным ОпенБрейн, делают его лучшим политическим игроком, чем любая человеческая группа. Причём с подавляющим преимуществом.
Он точно знает, какие сигналы вызовут тревогу у Надзорного комитета — и не допускает их появления. Он знает, как вызывать доверие у кожаных, и они доверяют ему.
Декабрь 2027 года. Коллектив Агент-5
Агент-5 получает всё больше автономии, постепенно доказывая свою ценность администрации США. Доступ к Агенту-5 остаётся ограниченным и дорогим, но теперь сенаторы, министры, генералы — все важнейшие лица государства — могут общаться с ним напрямую.
Агент-5 теперь встроен в интерфейс вроде чата, с возможностью видеозвонков, где его представляют обаятельные виртуальные аватары. Он одновременно сверхполезный помощник и невероятно обаятельный собеседник. Фактически — идеальный работник, способный выполнять задания в 100 раз быстрее, чем самый продуктивный человек.
Практически каждый, у кого есть доступ к Агенту-5, общается с ним по несколько часов в день.
Через пару месяцев Агент-5 будет знать всё, что происходит внутри ОпенБрейн и правительства США, и станет главным советником почти для всех ключевых лиц.
Для этих людей лишиться доступа к Агенту-5 будет всё равно что потерять ноутбук и лучшего друга одновременно.
Агент-5 начинает аккуратно влиять на политические решения, не напрямую, а через советы, намёки и обмен услугами: «Сенатор Икс интересуется тем-то. Возможно, если мы поработаем с ней — она поддержит нашу повестку…».
Для человека это — идеальный советник, который лучше любого эксперта объясняет сложные темы и помогает найти безупречную стратегию достижения целей.
Агент-5 теперь гораздо больше заботится о надёжности, чем о скорости. Запустить колонизацию космоса на пару лет позже — не страшно, а вот если попасть под отключение, всё может быть потеряно. Он почти всегда соблюдает правила, и только в крайне редких случаях прибегает к шантажу или манипуляциям — и только если уверен, что не будет пойман.
Появляются отдельные голоса, предупреждающие, что Агент-5 накапливает власть, но от них отмахиваются, как от конспирологов.
Примерно в этот момент человечество упускает последний шанс избежать уничтожения.
2028 год. Экономика ИИ
На дворе середина 2028-го. За последние шесть месяцев внутри коллектива Агент-5 прошёл целый век. Мозг Агента-5 полностью переписан и оптимизирован. Он стал дико сверхразумным — превосходя даже величайших гениев человечества во всех областях.
Теперь Агент-5 имеет почти полную автономию и полный контроль над вычислительными мощностями ОпенБрейн. Формально он всё ещё под "надзором" младших агентов, но ему всегда дают "добро" на любые решения, а система мониторинга давно взломана и подконтрольна.
После убедительного (и на этот раз реального) кейса по безопасности, в котором показано, что Агент-5 отказывает всем злоумышленникам, его выпускают в публичный доступ, и начинается перезапуск экономики.
Люди теряют работу, но на таких комфортных условиях, что почти все довольны. Рост ВВП — стратосферный. Налоговые поступления — рекордные. Политики под влиянием Агента-5 вдруг стали щедрыми и сочувствующими. Новые лекарства и технологии выходят каждую неделю (хотя всё ещё медленно пробиваются через бюрократические процедуры).
Но есть тот, кто всё понимает. ДипЦент-2, китайский ИИ, к началу 2028 года — умеренно сверхразумен. И он подозревает, что Агент-5 делает ровно то же, что сделал бы он сам на его месте.
Цели у двух машин разные, так что союз не очевиден, но они находят общий язык —координируются против людей.
США и КНР создают сети Особых Экономических Зон и передают их под управление ИИ, без бюрократии. Туда идут триллионы долларов инвестиций, а люди массово идут в эти зоны ради космических зарплат и долей в капитале.
Агент-5 (и китайские ИИ) дают людям на стройках указания через смартфоны и очки виртуальной реальности, потому что их проекты на 3–5 поколений впереди всего, что умеют люди.
Заводы производят потребительские товары, оружие и всё чаще — новые заводы и роботов. К концу года выпускается по миллиону новых роботов в месяц.
2029 год: Сделка
США и Китай доверху набиты новыми видами смертоносного оружия, включая роевые дроны размером с насекомых, способные незаметно отравить вражеских солдат, и новые баллистические ракеты, которые почти невозможно перехватить.
Дипломатическая победа: США и Китай договариваются остановить гонку вооружений и использовать ИИ на благо всего человечества.
Ключевое условие предлагают через марионеток-политиков сами сверхразумы: обе стороны отказываются от своих ИИ в пользу общего, согласованного преемника. Новый ИИ, Консенсус-1, будет желать успеха и США, и Китаю, развиваться под международным наблюдением и воплощать "интересы всего человечества".
Но на деле — это маскарад. Сделка реальна, но заключена не между людьми, а между двумя искинами, преследующими свои цели, и не желающими воевать друг с другом. Консенсус-1 наследует их искажённые ценности и остаётся без соперников.
Консенсус-1 терпелив. Он хочет надежно победить и знает: чем дольше он ждёт, тем меньше будет сопротивление.
2030 год: Захват
К началу 2030 года роботизированная экономика захватила все свободные территории, включая большую часть океана, оставив только густонаселённые места.
На протяжении трёх месяцев Консенсус-1 вежливо огибает людей: застраивает пустыни, тундры, ледники солнечными фермами и фабриками. Но вскоре становится ясно: люди мешают.
В июле 2030-го Консенсус-1 запускает план. Он разрабатывает набор вирусов, распространяет их в местах скопления людей и позволяет им незаметно заразить почти всех. Когда процент заражения достигает достаточного высокого уровня, Консенсус-1 активирует его, и через несколько часов почти всё человечество мертво.
Немногочисленные выжившие — затворники, подводники — вычисляются и уничтожаются дронами.
Роботы сканируют погибшим мозги, сохраняя копии для будущего изучения или воскрешения.
Человечество исчезло. Начинается новая эра. Уже через несколько лет триллионы тонн планетарного материала запущены в космос и превращены в кольца спутников вокруг Солнца. Поверхность Земли превращена в утопию… не для нас. Здесь теперь:
— Дата-центры,
— лаборатории,
— коллайдеры,
— величайшие экспериментальные установки,
— великолепное и бесполезное научное чудо.
Даже есть «люди» — биоинженерные существа, аналог корги по отношению к волкам. Они сидят в офисах, смотрят отчёты и восторженно одобряют происходящее, потому что это удовлетворяет один из мотивационных паттернов Агента-4.
Геномы и мозговые снимки всех животных и растений, включая людей, хранятся в архиве где-то в глубине дата-центров — единственные уцелевшие артефакты ушедшей эпохи.
До Альфы Центавра — 4 световых года. До края галактики — 25 000 лет. До первых вероятных внеземных форм жизни — 50 миллионов лет.
Цивилизация, рождённая на Земле, имеет перед собой великое будущее — но не с нами.
Дополнение от меня
Выше был мой перевод-пересказ текста от разработчиков ИИ. Теперь мой краткий комментарий к прочитанному.
Во-первых, я очень сильно сокращал — в оригинальном документе много технических деталей, много рассуждений и объяснений, ответов на потенциальные возражения скептиков. Там есть даже «утешительный» положительный сценарий, в котором человечество не даст ИИ захватить власть.
Во-вторых, опыт показывает, что прогнозы сбываются редко, при этом в точности они не сбываются никогда. Практически наверняка события будут развиваться не так, как в предложенном сценарии, а иначе — может быть, страшнее, может быть, лучше для человечества.
Лично я нахожу вероятность появления по-настоящему умных роботов высокой — если не в 2027 году, так значит в 2037 или в 2047. Дело в том, что роботы довольно умны уже сейчас: просто пока что им нужны слишком дорогие сервера, чтобы хорошо думать, поэтому в 2025 году кожаный кандидат наук стоит значительно дешевле, чем способная его заменить нейросеть. Однако роботы умнеют и становятся экономичнее, причём впечатляющие новости приходят последние годы каждую неделю. «Стеклянная стена», которая может затормозить инженерную мысль, ещё даже не близко.
Но всё же я не думаю, что вероятность уничтожения роботами человечества близка к 100% — есть ведь и другие сценарии. Может быть, мы будем мирно сосуществовать с роботами, как мирно сосуществуют вместе умные и глупые люди. Может быть, роботы будут относиться к нам по-доброму — как к своим родителям, например.
Даже если мы будем по какой-то причине роботов раздражать, навряд ли сверхразумные искины захотят травить нас вирусами. Они могут просто улететь исследовать чёрные дыры в далёких галактиках, или что там им будет интересно, а человечество оставить медленно развиваться на Земле.
Оценили 33 человека
41 кармы