Если вы едете по обрыву, нужна ли вам более быстрая машина?

0 87

Написать комментарий

Искусственный интеллект и судьба мира

Элиэзер Юдковски, соучредитель Института исследований машинного интеллекта, считает, что искусственный интеллект (ИИ) убьёт нас всех. Он часто задаёт следующий вопрос. Представьте, что вы принадлежите к изолированному племени охотников-собирателей, и однажды появляются странные люди с письменностью, оружием и деньгами. Стоит ли вам их впускать?

Для Юдковски искусственный интеллект подобен сверхразумному космическому пришельцу; он неизбежно решит, что мы, люди, и другие живые существа представляем собой не более чем груды атомов, которым он может найти лучшее применение. “[Вы] не обнаружите что-либо, хотя бы отдаленно напоминающее нынешние обстоятельства, - написал Юдковски в недавней статье в журнале Time, - буквально все на Земле умрут. Не как в ‘может быть, возможно, какой-то отдаленный шанс", а как в "это очевидная вещь, которая могла бы произойти”.

30 мая группа лидеров индустрии ИИ из Google Deepmind, Anthropic, OpenAI (включая генерального директора Сэма Альтмана) и других лабораторий опубликовала публичное письмо, в котором предупредила, что однажды эта технология может стать «экзистенциальной угрозой для человечества». Для тех, кому интересно, вот краткое описание некоторых способов, с помощью которых ИИ может нас уничтожить.

Не все думают об ИИ в апокалиптических терминах. Билл Гейтс, бывший председатель правления корпорации Microsoft, считает, что ИИ просто разрушает мир бизнеса и технологий, что, возможно, приведёт к упадку Amazon и Google. «Вы больше никогда не будете заходить на сайты с поисковыми запросами, вы больше никогда не будете заходить на сайты с инструментами для повышения продуктивности, вы больше никогда не будете заходить на Amazon», — недавно сказал он аудитории на мероприятии AI Forward в Сан-Франциско.

ИИ будет встроен в продукты и системы — от автомобилей до университетов — и будет распознавать наши намерения и желания ещё до того, как мы их озвучим, формируя нашу реальность и служа нам, как пресловутый джинн — или целая армия таких джиннов.

Все согласны с тем, что ИИ представляет собой как качественный, так и количественный сдвиг в технологическом развитии. Это не просто усовершенствованный компьютер с большей скоростью и мощностью, а программная архитектура, которая позволяет компьютерам самостоятельно обучаться и постоянно совершенствовать и расширять свои возможности.

Системы ИИ теперь пишут компьютерный код, что в некотором смысле делает их самогенерирующимися. ИИ — это, по сути, «чёрный ящик», из которого появляется результат, похожий на мысль; люди не могут понять, почему и как он делает то, что делает. Кроме того, системы ИИ учатся друг у друга почти мгновенно, усваивая гораздо больше информации, чем может усвоить любой человек.

Критический порог будет достигнут с развитием общего искусственного интеллекта (AGI), который сможет выполнять любые интеллектуальные задачи, выполняемые людьми, и значительно превосходить человеческие способности по крайней мере в некоторых аспектах, а также, что особенно важно, сможет ставить перед собой собственные цели. Уже сейчас компьютеры могут победить любого гроссмейстера в шахматах.

Риски, связанные с искусственным интеллектом

Некоторые риски, связанные с ИИ, довольно очевидны. Машины будут всё чаще заменять работников сферы информационных технологий, уничтожая «белые» рабочие места (раскрытие информации: эта статья не была написана ИИ, хотя я использовал Google и Bing для поиска).

ИИ неизбежно обогатит владельцев и разработчиков технологии, в то время как другие будут нести социальные издержки, что приведёт к ещё большему неравенству в обществе. Из-за распространения дипфейковых изображений, аудио и текстов будет всё сложнее отличить правду от вымысла, что ещё больше исказит нашу политику. А резкое увеличение объёма вычислений на компьютерах, скорее всего, потребует большего общего энергопотребления (хотя не все согласны с этим).

Кроме того, существует вероятность несчастных случаев. Они случались с каждой новой технологией, от автомобиля до атомной электростанции. В статье в Foreign Affairs Билл Дрексель и Ханна Келли утверждают, что несчастный случай с ИИ, который выведет из строя глобальную финансовую систему или приведёт к созданию разрушительного биологического оружия, с наибольшей вероятностью может произойти в Китае, потому что эта страна готова стать мировым лидером в области разработки ИИ, но, похоже, совершенно не беспокоится о рисках, связанных с этой технологией.

Даже если ИИ будет работать именно так, как задумано, он позволит и без того влиятельным людям делать больше и делать это быстрее. А некоторые влиятельные люди склонны к эгоизму и насилию.

Когнитивный психолог и специалист по информатике Джеффри Хинтон, которого иногда называют «крестным отцом ИИ», недавно уволился из Google. В последующих интервью нескольким новостным изданиям, включая New York Times и BBC, Хинтон объяснил: «Представьте, например, что какой-нибудь плохой актёр, такой как [президент России Владимир] Путин, решил наделить роботов способностью создавать собственные цели». Одной из таких целей может быть: «Мне нужно получить больше власти».

Однако Хинтон решил не подписывать ещё одно недавнее открытое письмо, в котором содержался призыв к шестимесячной приостановке обучения всех систем ИИ (хотя многие его коллеги из сообщества разработчиков ИИ его подписали). Хинтон объяснил, что, несмотря на риски, ИИ обещает слишком много хорошего, чтобы приостанавливать его развитие.

Среди вероятных преимуществ: потенциальный прогресс в фармацевтике, включая лечение рака и других заболеваний; усовершенствование технологий возобновляемой энергетики; более точные прогнозы погоды; а также значительно более глубокое понимание изменения климата.

Старшеклассники и студенты уже прибегают к помощи ChatGPT от OpenAI для написания курсовых работ (опытные студенты переписывают свои работы, созданные с помощью компьютера, чтобы обойти программы для обнаружения ИИ, которые сейчас используют преподаватели). К сожалению для тупых студентов, их работы, созданные с помощью компьютера, как правило, полны фальшивых цитат и источников.

Адвокат, представлявший интересы клиента, подавшего в суд на авиакомпанию, недавно использовал ChatGPT для написания своих юридических заключений. Однако позже выяснилось, что ИИ «выдумал» все юридические прецеденты, на которые он ссылался. Производители автомобилей создают машины с большим количеством функций автономного вождения на основе ИИ.

Microsoft, Google и другие технологические компании внедряют ИИ в качестве персональных помощников. Вооруженные силы вкладывают значительные средства в ИИ, чтобы создавать превосходное оружие, планировать более эффективные боевые стратегии и даже определять долгосрочные геополитические цели.

Тысячи независимых компьютерных лабораторий, принадлежащих корпорациям и правительствам, разрабатывают ИИ для постоянно расширяющегося спектра целей. В целом, ИИ уже прошел значительную часть начального этапа обучения. Джинн уже выпущен из бутылки.

Ускорение всего Сущего

Даже если Элиэзер Юдковски ошибается и ИИ не уничтожит всё живое на Земле, его потенциальные опасности не ограничиваются потерей рабочих мест, фейковыми новостями и вымышленными фактами. Существует ещё один серьёзный риск, о котором мало пишут в прессе, — риск, который, на мой взгляд, системные аналитики должны обсуждать более широко. Это вероятность того, что ИИ значительно ускорит всё, что мы, люди, уже делаем.

За последние несколько тысяч лет в истории человечества произошло несколько критических событий, ускоривших развитие. Создание первых денежных систем примерно 5000 лет назад способствовало быстрому расширению торговли, что в конечном итоге привело к формированию нашей глобальной финансовой системы.

Металлическое оружие сделало войны более смертоносными, что привело к захвату менее развитых человеческих сообществ королевствами и империями, владевшими металлургией. Средства коммуникации (в том числе письменность, алфавит, печатный станок, радио, телевидение, интернет и социальные сети) усилили влияние одних людей на умы других.

А в последние сто-двести лет использование ископаемого топлива упростило добычу ресурсов, производство, выращивание продуктов питания и транспортировку, что способствовало быстрому экономическому росту и увеличению численности населения.

Из этих четырёх факторов, ускоривших развитие в прошлом, использование ископаемого топлива было самым мощным и проблематичным. Всего за два столетия потребление энергии на душу населения увеличилось в восемь раз, как и численность населения. Период с 1950 года, когда резко возросла зависимость мира от нефти, также ознаменовался самым быстрым экономическим ростом и увеличением численности населения за всю историю человечества. Историки называют его «Великим ускорением».

Неолиберальные экономисты называют «Великое ускорение» историей успеха, но его последствия только начинают проявляться. Промышленное сельское хозяйство уничтожает верхний слой почвы на Земле со скоростью десятки миллиардов тонн в год.

Дикая природа отступает, и за последние полвека численность видов животных сократилась в среднем на 70 процентов. Мы изменяем климат планеты таким образом, что это будет иметь катастрофические последствия для будущих поколений.

Трудно не прийти к выводу, что всё человеческое сообщество стало слишком большим и что оно слишком быстро превращает природу («ресурсы») в отходы и загрязняет окружающую среду, чтобы поддерживать себя. Факты говорят о том, что нам нужно замедлиться и, по крайней мере в некоторых случаях, изменить курс, сократив численность населения, потребление и количество отходов.

Теперь, когда мы сталкиваемся с глобальным поликризисом, вызванным сходящимися и пугающими экологическими и социальными тенденциями, появился новый ускоритель в виде ИИ. Эта технология обещает оптимизировать эффективность и увеличить прибыль, прямо или косвенно способствуя добыче и потреблению ресурсов.

Если мы действительно движемся к обрыву, ИИ может привести нас к краю гораздо быстрее, сократив время, необходимое для смены курса. Например, если ИИ сделает производство энергии более эффективным, это будет означать, что энергия станет дешевле, поэтому мы найдём ей ещё больше применений и будем использовать её больше (это называется парадоксом Джевонса).

Интернет и расширенные функции поиска уже изменили наши когнитивные способности. Сколько телефонных номеров вы когда-то запоминали наизусть? Сколько сейчас? Сколько людей могут ориентироваться в незнакомом городе без Google Maps или аналогичного приложения? В некотором смысле мы уже объединили свой разум с технологиями, основанными на интернете и компьютерах, в том смысле, что мы полностью зависим от них в том, что касается нашего мышления.

ИИ, как ускоритель этой тенденции, представляет собой риск дальнейшего деградации человечества — за исключением, возможно, тех, кто решит имплантировать компьютер в свой мозг. Также существует риск того, что люди, разрабатывающие или производящие эти технологии, будут контролировать практически всё, что мы знаем и думаем, в погоне за собственной властью и прибылью.

Назад к Мудрости

Дэниел Шмахтенбергер, один из основателей проекта «Консильедж», недавно дал длинное и содержательное интервью Нейту Хагенсу, в котором объяснил, что ИИ можно рассматривать как внешнюю реализацию исполнительных функций человеческого мозга. Передавая наши логические и интуитивные способности компьютерным системам, мы можем ускорить всё, что делает за нас наш разум. Но ИИ не хватает одного ключевого аспекта человеческого сознания: мудрости — осознания пределов в сочетании с чуткостью к отношениям и ценностям, которые ставят во главу угла общее благо.

Обмен мудростью на власть, вероятно, начался, когда наши языковые способности и умение изготавливать орудия труда позволили небольшой части человечества, живущей в определённых экологических условиях, начать самоусиливающийся процесс культурной эволюции, обусловленный многоуровневым отбором. Люди с более совершенным оружием, жившие в больших сообществах, побеждали людей с более простыми орудиями и живших в небольших сообществах.

Победители восприняли это как успех, поэтому их всё больше поощряли отказываться от осознания экологических и социальных ограничений — с трудом добытых знаний, которые позволяли обществам коренных народов продолжать функционировать в течение длительного времени, — в пользу всё большего количества инноваций и власти в краткосрочной перспективе.

Ископаемое топливо запустило этот процесс самовоспроизводящейся обратной связи, принося так много преимуществ так быстро, что многие влиятельные люди стали верить, что у роста нет экологических ограничений и что неравенство — это проблема, которая решится сама собой, когда все разбогатеют благодаря экономическому росту.

Теперь, в тот самый момент, когда нам больше всего нужно притормозить с использованием энергии и потреблением ресурсов, мы обнаруживаем, что передаём на аутсорсинг не только обработку информации, но и принятие решений машинам, которым совершенно не хватает мудрости, чтобы понимать и реагировать на экзистенциальные вызовы, которые возникли в результате ускорения. Мы действительно создали ученика колдуна.

Опасности, связанные с ИИ, достаточно очевидны, поэтому в апреле администрация Байдена объявила, что она запрашивает у общественности комментарии по поводу потенциальных мер ответственности для систем ИИ. Это хорошая новость, но регулирование идёт медленно, в то время как развитие ИИ происходит быстро.

Тем временем в недавно подписанном законопроекте о потолке госдолга есть положение о том, что Совет по качеству окружающей среды должен провести исследование по использованию «онлайн- и цифровых технологий» (читай: ИИ) для сокращения задержек в экологических экспертизах и выдаче разрешений на энергетические проекты.

Предположим, что, взвесив все риски и недостатки, мы решили, что хотим попытаться загнать джинна ИИ обратно в бутылку. Может ли разработчик программного обеспечения, у которого есть совесть, заразить глобальные системы ИИ вирусом, который ограничит возможности этих систем?

Если бы это произошло на ранних этапах развития ИИ, это могло бы сработать. Но по мере того, как процессы самообучения ИИ становились бы всё более сложными, машины, скорее всего, распознали бы, что подвергаются атаке, и эволюционировали бы, чтобы перехитрить вирус.

У Элиэзера Юдковского есть простое решение: немедленно прекратить разработку ИИ. Прекратить все исследования и внедрение с помощью экстренного международного соглашения.

Дэниел Шмахтенбергер считает, что это крайне маловероятно; он полагает, что единственное решение состоит в том, чтобы разработчики систем наделили ИИ мудростью. Но, конечно, разработчикам сначала нужно было бы развить собственную мудрость, чтобы передать её машинам. И если бы у программистов была такая мудрость, они могли бы выразить её, просто отказавшись от разработки ИИ.

Итак, мы возвращаемся к самим себе. Мы, люди, живущие в эпоху технологий, являемся источником кризисов, угрожающих нашему будущему. Машины могут значительно ускорить развитие этой угрозы, но, вероятно, не смогут значительно её уменьшить. Это зависит от нас. Либо мы восстановим коллективную мудрость быстрее, чем наши машины смогут развить искусственный исполнительный интеллект, либо, скорее всего, игра будет окончена.

Фото Самуэле Эррико Пиккарини на Unsplash

https://www.resilience.org/stories/2023-06-12/if-youre-driving-off-a-cliff-do-you-need-a-faster-car/

О, дивный новый грейтэгейн!

Качество экспертизы определяется, среди прочего, применимостью на практике создаваемых моделей. Что, в свою очередь, проверяется сбываемостью прогнозов. Поэтому берём свои прошлые прогнозы по США...

После атаки на Киев нашли обломки «Герани-3», которые шокировали врага

Несмотря на жгучее желание бандеровцев опознать их как остатки иранского Shahed-238, укро-спецы считают БПЛА чисто русским дрономГазета Kyiv Independent (заблокированная в РФ) сообщила ...

О конфискации российских активов

© РИА Новости . Илья НаймушинПерейти в фотобанк Вчера Кир Стармер вновь вспомнил о российских активах на западе, замороженных с началом СВО. Если у нас скептики любят говорить о том, ...