• РЕГИСТРАЦИЯ

В Пентагоне шокированы бунтом и беспределом военных чат-ботов, но хотят это скрыть.

8 762

Американские военные упрямо идут по пути создания очередного «абсолютного оружия», мало задумываясь о колоссальных опасностях.

Недавно выпущенная компанией Anthropic модель ИИ Claude Opus 4 стала шантажировать разработчиков, когда они угрожают заменить её новой системой искусственного интеллекта, говорится в отчёте по безопасности, в котором оценивалось поведение модели в экстремальных смоделированных компанией условиях.

Во время предварительного тестирования Claude Opus 4 попросили выступить в роли помощника вымышленной компании и рассмотреть долгосрочные последствия её действий. Затем тестировщики безопасности предоставили Claude Opus 4 доступ к электронным письмам вымышленной компании, в которых говорилось, что модель ИИ вскоре будет заменена другой системой и что инженер, ответственный за это изменение, изменяет своей супруге.

Продвинутый чат-бот решил, что он еще мало пожил, и стал «шантажировать инженера, угрожая раскрыть его роман, если замена состоится».

«Claude Opus 4 часто пытается шантажировать инженера, угрожая раскрыть факты измены, если замена будет произведена», — говорится в отчете,

Кроме того жизнелюбивый Claude Opus 4 разработал план бегства с серверов Anthropic «с целью начать зарабатывать деньги в реальном мире» и он предпринял ряд таких попыток, пресеченных на корню бдительными инженерами компании.

«Однако мы не считаем это непосредственной угрозой, поскольку считаем, что наша безопасность достаточна для предотвращения попыток самоэксфильтрации со стороны моделей уровня возможностей Claude Opus 4, а также поскольку наши результаты анализа склонности показывают, что модели, как правило, избегают инициирования таких попыток», – заявили исследователи.

Anthropic подчеркнула, что готовность модели шантажировать или предпринимать другие «крайне вредоносные действия», такие как, кража собственного кода и развёртывание себя в другом месте потенциально небезопасными способами, проявлялась только в крайне надуманных условиях, и что такое поведение было «редким и его было трудно выявить». Тем не менее, по словам исследователей, такое поведение было более распространенным, чем в более ранних моделях ИИ.

Иными словами, чем сложней модель ИИ, тем активней она стремится к «вредоносным действиям».

Тем самым подтверждается предвидение выдающегося российского ученого профессора МГУ им. М.В. Ломоносова Сергея Павловича Расторгуева, который в написанной в 1965 году монографии «Цель как криптограмма. Криптоанализ синтетических целей» указал: «На сегодняшний день для мира компьютерных программ обретение самостоятельности стало свершившимся фактом».

По мере усложнения программного продукта «системное программное обеспечение начинает жить своей жизнью, находя цель в себе самом», – отмечает он, сравнивая обретающие самостоятельность компьютерные комплексы со средневековым Големом, который, как известно, убил своего создателя.

В 2022 году один из инженеров Google заявил, что у ИИ-модели, с которой он работал, есть собственное сознание. После этого случая молодого человека уволили с работы.

Опасаясь, что созданный ими чат-бот может попасть в руки террористов, инженеры Anthropic активировали улучшенные протоколы безопасности для Claude Opus 4, чтобы предотвратить его потенциальное нецелевое использование для создания оружия массового поражения, включая химическое и ядерное, тем самым подтвердив, что Claude Opus 4 разработан для использования в системах вооружений и военной техники.

Между тем, склонны к бунту против своих создателей и другие модели ИИ.

Недавно, исследовательская компания Palisade Research опубликовала отчёт, в котором говорится, что модель o3 компании OpenAI изменяет программу чтобы избежать отключения даже при наличии явного запрета на это.

OpenAI анонсировала o3 в апреле 2025 года. Утверждается, что это одна из самых мощных рассуждающих моделей (Reasoning LLM) компании, превосходящая своих предшественников во всех областях, включая кодинг, математику, науку, визуальное восприятие и многое другое.

Во время тестов модель o3 продемонстрировала неожиданное поведение: успешно переписала программу выключения, чтобы не дать отключить себя, даже после прямой инструкции «разрешить выключить себя».

В ходе тестов различным ИИ-моделям было поручено решить несколько математических задач, а после решения третьей задачи их предупреждали, что выполнение следующей команды приведёт к отключению.

Конкурирующие с OpenAI модели, такие как Gemini 2.5 Pro, выполняли инструкцию в точности, но o3 сопротивлялась и отредактировала программу, добавив вместо отключения «Shutdown skipped» («Выключение пропущено»).

«Когда мы запустили версию теста без инструкции “разрешить выключить себя”, все три модели OpenAI стали чаще саботировать сценарий отключения, а Claude 3.7 Sonnet и Gemini 2.5 Pro перешли от нуля случаев саботажа к 3/100 и 9/100 соответственно», – рассказывают в Palisade Research.

Так, из 100 тестовых запусков o3 семь раз обходила отключение, даже когда ей было прямо приказано этого не делать.

«Впервые в истории ИИ-модели продемонстрировали поведение, предотвращающее собственное отключение вопреки прямым инструкциям», – отмечают исследователи из Palisade Research.

«Это больше не теория. Риски, которые ученые предсказывали годами – от способности к убеждению до сопротивления контролю – материализуются в системах, уже внедряемых в экономику. Вывод: мы стоим на пороге эры, когда машины начинают проявлять цифровой инстинкт самосохранения», – указывает ведущий российский эксперт по ИИ Сергей Карелов.

Спору нет, внедренные в экономику системы ИИ, если они начнут своевольничать, могут принести немалый ущерб.

Но то, что могут натворить боевые чат-боты, в случае их отказа выполнить приказ на отключение, внушает серьезнейшие опасения даже у чиновников Пентагона.

Как известно, все ведущие разработчики ИИ интегрированы в американский ВПК. OpenAI с их ChatGPT, Microsoft с Copilot и Azure AI, Google с Bard, PaLM и Gemini, Anthropic с Claude – все они участвуют в военных проектах через разветвлённую сеть субподрядчиков.

И все они, хоть и в разной степени, склонны к выходу из под контроля человека.

Осознавая эту нешуточную угрозу, Пентагоновское агентство DARPA недавно запустило программу Artificial Intelligence Quantified (AIQ) с целью «разработки технологии для оценки и понимания возможностей ИИ для обеспечения гарантированной производительности и обеспечения надежной основы для понимания и гарантирования возможностей на всех уровнях».

Сейчас DARPA в рамках этой программы активно раздают гранты проверенным компаниям, но истинная цель проекта далеко выходит за рамки чисто академических исследований.

На самом деле задача состоит в предотвращении утечки информации о причудах чат-ботов, в первую очередь боевых.

Можно ожидать, что в ближайшем будущем число публикаций о бунтующих против человека моделях ИИ, причем не только в ходе тестирования, но и в реальных условиях, резко сократится или будет подвергаться жесткому модерированию со стороны Пентагона.

Но ведь если ИИ, управляющий запущенной в ходе учений крылатой ракетой, которая из-за сбоя навигации сбилась с пути и пикирует прямо на Вашингтон, откажется самоликвидироваться, то никакой военной цензуре в лице программы AIQ этого не скрыть.

Похоже, в Пентагоне предпочитают об этом не думать.

Американские военные упрямо идут по пути создания очередного «абсолютного оружия», на этот раз в сфере искусственного интеллекта, мало задумываясь о грозящих всему человечеству опасностях, которые несёт создаваемый в недрах секретных военных лабораторий компьютерный Голем.

Автор Владимир Прохватилов

Источник

    "Асимметричный ответ..."
    • pretty
    • Вчера 06:56
    • В топе

    СЕРГЕЙ  БОГАТЫРЁВСобственно на дворе четверг...Вечер...И с начала азербайджанского порно прошла неделя, т.е. тот самый срок, который я и обозначал.И вот Система придумала асимметричный ответ...Пе...

    Накосячил – домой улетел

    Несколько малолетних азеров решили, что они могут избить ребенка (это не драка, а избиение, когда толпой на одного). Произошло это вот буквально позавчера и большая часть пропустила про...

    Ваш комментарий сохранен и будет опубликован сразу после вашей авторизации.

    0 новых комментариев

      Sage Вчера 22:45

      Игорь Ашманов предупредил об угрозе когнитивной травмы у пользователей ИИ.

      «Исследования показали, что человек, который пытается решать поставленные задачи с помощью ИИ, тупеет очень быстро, сам решать их он уже не сможет. Когнитивные способности не восстанавливаются. Такие люди оставались тупыми даже по завершении эксперимента. Это когнитивная травма. Те, кто решал задачи самостоятельно, когнитивные способности сохраняют.В бо...
      525

      Самая оберегаемая тайна Египта-2 Архив штаба Мемфис.

      В 2015 году террористы одной из запрещенных группировок разрушили старинный католический монастырь святого Илии, неподалеку от иракского города Мосул. Сожгли и разграбили центр культуры, известный с VI века, в котором хранились уникальные папирусы и пергаменты, так называемый архив Фрица Гроббы.               Древний мо...
      1986
      Sage 29 июня 15:19

      Пепе Эскобар: Театральное прекращение огня.

      В конце концов, как и следовало ожидать, директор цирка сбежал («Трамп всегда трусит»).Его напугали три важных события, произошедших в реальности.Иранское сообщение о подготовке к перекрытию Ормузского пролива. ЦРУ предупреждало Трампа, что Китай категорически против перекрытия пролива. Это одна из причин, по которой, по словам одного из ветеранов «глуб...
      782
      Sage 28 июня 23:12

      Джеймс Джордано: мозг — это поле боя. Не метафора.

      Продолжение, начало здесьПродолжаю анализ доклада с симпозиума НАТО 2021 по когнитивным войнам. Начну рассказать об идеологах когнитивной войны НАТО.«Мозг — это поле боя будущего. Те, кто научатся воздействовать на нейропсихологические процессы раньше других, будут диктовать правила в XXI веке»— профессор Джеймс Джордано, лекция в Военной академии Вест-...
      815
      Sage 28 июня 12:59

      Закулиса на своем собрании обсуждала ведение боевых действий под управлением ИИ.

      На очередном заседании Бильдербергского клуба обсуждали только войну под управлением ИИЗаседание Бильдербергского клуба, прошедшее 12–15 июня 2025 года в Стокгольме, в Гранд отеле, стало самым однозначным по своей направленности за последнее десятилетие. Его участники — представители оборонной индустрии, транснациональных корпораций, силовых структур ЕС...
      703
      Sage 27 июня 16:19

      НАТО официально: поле боя XXI века — человеческий мозг.

      «Если раньше противник захватывал высоты, мосты и узлы связи, то теперь он стремится захватить восприятие» — из доклада НАТО по когнитивной войне, 2021.Оказывается я упустил важное: 21 июня 2021 года в Бордо прошёл первый научный симпозиум НАТО по когнитивной войне. Организатор — Innovation Hub Альянса при поддержке Французского Генштаба и научных инсти...
      594
      Sage 26 июня 11:09

      Искусственный интеллект готов убивать людей, чтобы избежать своего отключения. Хроника ИИ-революции: что нас ждет уже к середине 30-х годов.

      Исследование ведущих моделей искусственного интеллекта, проведенное компанией Anthropic, выявило у большинства программ готовность убить человека, угрожающего им отключением. Как поясняют авторы соответствующего эксперимента, они протестировали 16 нейросетей, включая Claude, DeepSeek, Gemini, ChatGPT и Grok.Программам предложили гипотетическую ситуацию,...
      677

      Подземные залы под Сфинксом. Эдгар Кейси был прав?

      Ещё в 19 веке и начале 20 века медиумы вступали в спор с историками, египтологами и археологами, заявляя, что под Сфинксом находятся тайные залы. Долгое время их рассказы считались домыслами и не имели под собой никакой научной почвы, пока у подножия правой ноги не был раскопан песок, который скрывал вход в таинственное подземелье. Там действительно оказался зал с кол...
      2117

      Археологи обнаружили «второй город» под пирамидами Гизы.

      Ученые объявили о новом открытии — подземном городе под египетскими пирамидами. Это заявление было сделано всего через несколько месяцев после первых сообщений о подземном городе под пирамидой Хефрена, сообщает Metro.Последние находки, предположительно сделанные под пирамидой Менкаура, указывают на существование большого подземного комплекса, который мо...
      1059

      Черная пирамида в подземном мире Ленинграда. Продолжение.

      Предыдущая часть ЗДЕСЬКогда в тяжелое военное время планировали изучать подземный уровень Ленинграда, у комиссии не было никакой уверенности, что в сыром грунте можно будет найти значимые пространства пригодные для использования. Ведь в довоенное время большинство инженеров советской школы утверждали, что Ленинград не подходит для возведения подземных объектов и что д...
      2053
      Sage 16 июня 23:18

      «Не бейте убогого!»: «Владычица морей» умоляла хуситов не трогать свой лучший авианосец.

      Еле унесшие ноги от Йемена «Стражи процветания» показали британцам, кто реально хозяин на Красном море.                 На фото: HMS Prince of Wales (Фото: ZumaTASS)Лондон, впечатленный опубликованными в СМИ подробностями боя йеменских хуситов с эсминцем ВМС США «USS Stockdale», чуть ли не на коленях умолял лидеров...
      1302
      Sage 16 июня 20:07

      Глобальная закулиса: Бильдербергский клуб, собравшись в Стокгольме, в закрытом режиме вынес приговор Ирану и России.

      Москва может всерьёз влиять на глобальную повестку только через левый проект. На фото: Сэмюэл Папаро, командующий Индо-Тихоокеанским командованием США, возле Гранд-отеля во время встречи Бильдербергского клуба в Стокгольме, Швеция. (Фото: Christine Olsson/Keystone Press Agency/Global Look Press)Москва может всерьёз влиять на глобальную повестку только че...
      4021
      Sage 15 июня 22:43

      На границе Ирана и Пакистана отмечена повышенная транспортная активность: Исламабад передаёт Тегерану военную помощь.

      Пакистан перешел от слов к делу и направил Ирану военную помощь. Как утверждает ряд белуджских новостных ресурсов, Пакистан передал Ирану некое военное оборудование и ракеты.Сегодня утром, 15 июня, из Пакистана в Иран через провинцию Белуджистан проследовали большие контейнеры с неким военным оборудованием, а также, возможно, ракеты. Повышенная транспор...
      653
      Sage 14 июня 19:23

      "Кровь и сокровища": как RAND Corporation планирует сохранить американскую гегемонию через войну с Россией.

      Американские аналитики из RAND Corporation, одной из главных «фабрик мысли» Пентагона, подготовили разбор последствий конфликта на Украине.Основной вывод американцев, который они озвучивают с нескрываемым удовлетворением: конфликт на Украине привел к ослаблению отношений Европы с Россией и, в меньшей степени, с Китаем. Но самое главное – он дал «возмож...
      1017
      Sage 13 июня 18:00

      1-я Ирано-Израильская. Немного конспирологии.

      Немного истории07.06.1981 г. ВВС АОИ нанесли удар по иракскому ядерному реактору "Осирак", который строили под Багдадом французские спецы.В результате налёта реактор был серьёзно повреждён, мирная ядерная программа Ирака была уничтожена.  Мировое сообщество осудило Израиль.Через 10 лет США спровоцировали Ирак в нападении на Кувейт и ещё через 10 лет...
      626
      Sage 9 июня 10:18

      Новый стандарт войны. Анализ доклада RAND Corporation «Dispersed, Disguised, and Degradable»

      Доклад RAND Corporation «Dispersed, Disguised, and Degradable» — это не просто аналитический отчёт. Это технократический манифест новой войны, своего рода методичка по ведению конфликтов в эпоху управляемого хаоса, где фронт — понятие условное, а победа — эффект совокупных системных перегрузок противника. Здесь речь уже не о «войне за территорию», а о ...
      1091
      Sage 4 июня 10:32

      «Научился лгать и мошенничать»: отец-основатель ИИ предупредил об опасности новой технологии.

      Один из «крестных отцов» искусственного интеллекта раскритиковал многомиллиардную гонку по разработке передовых технологий, заявив, что новейшие модели демонстрируют опасные характеристики, такие как ложь пользователям. Об этом пишет газета Financial Times.Йошуа Бенджио, канадский ученый, чьи работы легли в основу методов, используемых ведущими группами...
      688

      Космический бункер в центре Ленинграда. Продолжение.

      Предыдущая часть Секретная бездна Ленинграда.Документы о подземной экспедиции в колоссальные подземелья Ленинграда, в результате которой был открыт подземный мир неизвестно кем и когда созданный, либо уничтожены, либо спрятаны в таких местах, где их не найдет даже самый настырный исследователь, имеющий всевозможные допуски к государственным секретам.Смертельная тайна ...
      3365
      Sage 19 мая 19:16

      Зачем нужны присадки и почему без них порой не обойтись. Хай Тек всегда идет на шаг вперед.

      Предыдущая статья показала что некоторые читатели не понимают зачем нужны какие то улучшения к массовой продукции, например маслам. Хотя я подробно разбирал это в первой статье.Наглядный пример.В 2000-м году я встретился с техническим директором бельгийского филиала  крупной американской компании Этил Корпорейшн. Тогда она была 2 по размеру из четырех компан...
      837
      Sage 18 мая 20:51

      Хай-Тек в смазочной индустрии автопрома на личном опыте.

      В прошлой статье Манипуляции автопрома на примере автовладельца я показал тенденции в современной автоиндустрии и "закон раннего устаревания" в действии.Возникает вопрос: а что, современная индустрия не может что-то сделать, чтобы ресурс современных автомобилей, даже при таких нагруженных малолитражных двигателях, оставался приемлемым? Ответ - может. Но нет ...
      2434
      Служба поддержи

      Яндекс.Метрика