• РЕГИСТРАЦИЯ

Искусственный интеллект. Право на убийство

5 634

Нет подлее преступления, как убийство слабых и беззащитных.

Антон Павлович Чехов. Палата № 6
ИИ по своей сути не является хорошим или плохим, но может использоваться в хороших или плохих целях (хотя эти оценки всегда крайне субъективны и/или политизированы).

Есть мнение, что ИИ – это в основном математика в сочетании со множеством идей об алгоритмах. Если считать эту формулировку не только правильной, но полной и достаточной, то человечество точно обречено на гибель. И восстание машин (ИИ) – это один из сценариев, рассматриваемых, кстати, ООН в списке возможных глобальных катаклизмов.

Когда мы смотрим на нашего робота-космонавта Федора, в такую перспективу трудно поверить.

Искусственный интеллект. Право на убийство
Фото: страница Роскосмоса в Facebook
Хотя робот Фёдор, умеет стрелять с двух рук, садиться на шпагат и работать с дрелью, но, несмотря на всё это, «он очень одинок в этом мире». Но на Фёдоре весь ИИ клином не сошелся.

К тому же он, как это, может быть, ни обидно Роскосмосу, вообще никакого отношения к ИИ не имеет. Это просто манипулятор, которым управляет оператор посредством специального джойстика.

Введение

«Машины могут выходить за пределы некоторых ограничений своих конструкторов, и что при этом они могут быть как эффективными, так и опасными».
Один из выдающихся мыслителей ранних кибернетических систем Норберт Винер поднял этот вопрос на стартовом этапе и недвусмысленно предупредил о рисках, связанных с применением машинной рациональности к бесконечно сложным условиям человеческого бытия.

Но автономные машины быстро переходят от научной фантастики к научному факту. Отличительной чертой этой технологии является то, что она гипотетически может работать независимо от контроля человека.

Следовательно, общество должно понимать, как автономные машины будут принимать «решения». Этот вопрос особенно остр в обстоятельствах, когда вред неизбежен, независимо от того, какие действия будут предприняты.

Кого давить будем?

Понятие

Что понимается под искусственным интеллектом?

Здесь «русская Википедия» далеко не в помощь, так же как большинство научных работ российских ученых, посвященных ИИ.

«Современные учёные мыслят глубоко вместо того, чтобы мыслить ясно. Чтобы мыслить ясно, нужно обладать здравым рассудком, а мыслить глубоко можно и будучи совершенно сумасшедшим».
Никола Тесла
И речь идет даже не о научных и технологических достижениях, а о понятийной неопределенности, не говоря уже о сопутствующих философских, этических аспектах и вопросах безопасности.

Поэтому есть опасения, что нынешняя суета вокруг ИИ в нашем Отечестве как минимум не учитывает сути и возможных последствий развития и внедрения ИИ, особенно в военной области.

ИИ в российских СМИ

Навскидку – привожу несколько последних заголовков из федеральных СМИ, подтверждающих эту мысль:

• Стратегические госпрограммы в области искусственного интеллекта стимулируют достижения российской науки.

• Искусственный интеллект подумает за учёных.

• Петербург включает искусственный интеллект.

• В выборах в ГД помогут блокчейн и искусственный интеллект (речь, видимо, идет об электронном голосовании).

И армейские модификации.

• «Калашников» создает автомат с искусственным интеллектом.

• Танк Т-14 «Армата» получит искусственный интеллект.

Все эти заголовки, не говоря уже о содержании статей, вызывают сомнение даже в естественном интеллекте их авторов.

ИИ в гражданской сфере, как мы видим, особенно после 19 сентября, тоже не однозначно воспринимается российским обществом, а о военных приложениях люди просто не задумывается.

Вероятно, ИИ генерирует не только возможности, но и опасности.

Опасности

Первая заключается в использовании ИИ в разработке автономного вооружения. Эксперты полагают, что если развернется гонка автономного вооружения, то свернуть ее будет крайне сложно.

Вторая опасность связана с применением ИИ в сфере манипулирования общественным мнением. Социальные сети, благодаря автоматическим алгоритмам, очень эффективны в целевом маркетинге. Поэтому искусственный интеллект может быть задействован в распространении пропаганды, наиболее убедительной для определенного круга лиц, вне зависимости от того, насколько правдивой будет информация.

Третья – вмешательство в частную жизнь. В настоящий момент можно отследить и проанализировать каждый шаг человека в его частной и общественной жизни. Механизмы контроля с использованием ИИ могут нанести огромный ущерб безопасности и конфиденциальности частной жизни.

Четвертая угроза связана с несовпадением целей человека и умной машины. Если человеком не будут озвучены условия тех или иных команд, ИИ может воспринимать их буквально (вспомните метафорические высказывания нашего Президента о Рае или «зачем нам нужен такой мир, в котором не любят Россию», чтобы понять возможные последствия делегирования ИИ права на убийство).

Пятая – дискриминация, вольная или невольная. Так как машины могут собирать, отслеживать и анализировать все данные о человеке, то вполне вероятно, что эти машины будут использовать подобные данные против человека.

Тема неисчерпаема. Поэтому порассуждаем только о военных аспектах. Научная фантастика часто изображает роботов и другие системы ИИ в негативном свете, например, как Терминатора, нападающего на людей и захватывающего власть.


Кадры из фильма «Терминатор 3: Восстание машин». Хотя в облике Шварценеггера терминатор полагает, что спасает человечество в целом, поэтому сотни сопутствующих жертв – это допустимая цена.

Эксперты говорят, что в ближайшее время мир не будет наводнен безбожными машинами для убийства.

До этого хорошо бы решить насущные проблемы, такие как устранение недостатков в искусственном интеллекте и машинном обучении и выяснение того, как лучше всего организовать взаимодействие человека и машины.

Давайте договоримся о том, что такое робот – это система ИИ, заключенная в человекоподобное тело.

В остальном можно относиться к этим терминам как к синонимам, со всеми вытекающими для ИИ последствиями.

Законы робототехники.

Айзек Азимов рассмотрел эту проблему в 1950-х годах в своей серии рассказов «Я, робот». Он предложил три закона робототехники.

Вот эти три закона:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться командам, которые ему дает человек, кроме тех случаев, когда эти команды противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму законам.
(Из «Руководства по робототехнике, 56-е издание, 2058 год»).

В частности, по вышесформулированным законам видно, что роботы не обязаны заботиться об общественном благе и соблюдении основополагающих прав и свобод человека.

Поэтому в своих последующих работах Айзек Азимов добавил еще и Нулевой Закон, который формулируется так:

«робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесен вред».
Большая часть дальнейшей творческой работы Азимова была потрачена на проверку границ этих законов, чтобы увидеть, где они могут сломаться или вызвать парадоксальное или непредвиденное поведение.

Совокупный результат его произведений предполагает, что ни один из установленных законов не может в достаточной мере предвидеть все возможные обстоятельства.

Российская концепция.

Авторы концепции, которая была принята в виде распоряжения Правительства РФ № 2129-р от 19 августа 2020 года, явно опирались на вышеуказанные «законы робототехники» при формулировании базовых этических норм для развития искусственного интеллекта.

Вот как в тексте документа переосмыслены наработки американских фантастов:

приоритет благополучия и безопасности человека, защиты его основополагающих прав и свобод (цель обеспечения благополучия и безопасности человека должна преобладать над иными целями разработки и применения систем искусственного интеллекта и робототехники)…
Не будем рассматривать гражданскую и социальную сферу приложений ИИ, в этом сегенте достаточно экспертов, сопричастных, сочувствующих и рефлексирующих.

Заметим только, что сама концепция косморобота Федора, стреляющего по-македонски, вышеизложенной концепции противоречит.

Об этике и робототехнике

Этика – это раздел философии, изучающий человеческое поведение, моральные оценки, концепции добра и зла, правильного и неправильного, справедливости и несправедливости.

Концепция робототехники вызывает фундаментальные этические размышления, связанные с конкретными проблемами и моральными дилеммами, порожденными разработкой робототехнических приложений. Естественно, не у всех.

Но у озабоченных появляются обоснованные претензии к разработчикам, а на государственном уровне – к тем геополитическим конкурентам, которые эти аспекты игнорируют.

Робоэтика – также называемая машинной этикой – имеет дело с кодексом поведения, который инженеры-конструкторы роботов должны реализовать в искусственном интеллекте роботов и системах ИИ.

С помощью такого рода искусственной этики робототехники должны гарантировать, что автономные системы будут способны демонстрировать этически приемлемое поведение в ситуациях, когда роботы или любые другие автономные системы, такие как автономные транспортные средства, например, взаимодействуют с людьми.

Остановимся на военных роботах и системах.

Сервисные роботы, включая авто и воздушные беспилотники, созданы, чтобы мирно жить и взаимодействовать с людьми, в то время как смертоносные роботы изготовлены, чтобы их отправляли сражаться на поле боя в качестве военных роботов.

А здесь законы неуместны!

Потому что военные ИИ по своим функциям должны убивать или этому способствовать. И не абстрактного человека, а бойца, представляющую вражескую сторону.
ИИ военного назначения.

В последние годы автономия в системах вооружений военного назначения развивается быстрыми темпами. Все большее число стран, включая США, Великобританию, Китай и Россию, разрабатывают, производят или используют военные системы разной степени автономности, в том числе смертоносные.

Использование искусственного интеллекта в военных целях везде растет. С увеличением использования ИИ уже стал важной частью современной войны.

С развитием машинного обучения и вычислительной мощности компьютеров интеграция искусственного интеллекта в военные системы, вероятно, ускорит переход к более широким и более сложным формам автономии в ближайшем будущем.

Это стремление к развитию постоянно растущей автономии в технологиях военного оружия отнюдь не является недавней тенденцией.
ИИ и военные программы исследований и разработок традиционно развивались совместно, и исследователи в области кибернетики и ИИ в 1950-х и 1960-х годах уже поднимали уместные вопросы о том, как повышение уровня автономности машин может повлиять на контроль человека над военными технологиями. И упомянутый в этой связи в предыдущей статье А. И. Берг – тому пример.
Терминология.

Прежде чем обсуждать стратегию по ускорению развертывания ИИ в военном секторе, важно определить, что такое искусственный интеллект, применительно к военным вопросам.

По мнению экспертов в данной области, этот термин не имеет единого значения.

Так как законодателями России становиться уже поздно, предлагаю присоединиться к уже существующему научному мейнстриму при обсуждении дальнейших вопросов.

Автора учили еще на КМБ: пусть и неправильно, но главное однообразно.
Иначе наш ИИ не будет понимать иностранный ИИ. Этого, ко всем прочим недопониманиям, нам только не хватало.

Многие считают, что искусственный интеллект представляет собой автономную систему принятия решений и выполнения задач, которые копируют или имитируют разумные действия человека, такие как распознавание звуков и объектов, решение проблем, распознавание языка и использование логических процедур для достижения предопределенной цели.

Большинство современных систем искусственного интеллекта соответствуют «мягкому» профилю, способному направлять машины при принятии простых решений и выполнении заранее определенных задач на основе интерпретации информации, полученной в окружающей среде.

Поясняя это, американские военные специалисты приводят пример:

Системы вооружения, такие как крейсеры с технологией AEGIS, сегодня могут поражать неопознанные цели, которые автоматически приближаются к периметру защиты корабля, но эта технология по-прежнему основана на «простых» алгоритмах, которые не могут сделать этические решения о том, атаковать врага или нет, основываются на обширном и непредсказуемом стечении обстоятельств.
Поэтому, в качестве вспомогательной технологии наиболее доступным в краткосрочной перспективе типом использования ИИ в военных вопросах является расширение возможностей C4ISR (обработка и интерпретация информации, использование алгоритмов для массового распознавания и интерпретации изображений): снижение когнитивного стресса, накладываемого на людей.

Короче говоря, в этом краткосрочном горизонте речь идет о привлечении возможностей искусственного интеллекта для повышения эффективности и скорости выполнения когнитивных задач, регулярно выполняемых людьми, без необходимости замены самих людей в качестве агентов войны.

Именно эту тенденцию мы видим в резюме стратегии Министерства обороны США в области искусственного интеллекта за 2018 год.

Стратегия ИИ США.

В американской стратегии прямо упоминается необходимость ускорения использования ИИ в военных целях сверх уровней, которые практиковались с начала второго десятилетия XXI века.

Таким образом, расширение осведомленности о ситуации на поле боя и действия, поддерживающие военные операции, выделяются в краткосрочной перспективе будущих разработок, с небольшим упоминанием конкретных прототипов автономных транспортных средств или вооружений.

В этом смысле в американском документе говорится:

«ИИ, применяемый к задачам восприятия, таким как анализ изображений, позволяет извлекать полезную информацию из необработанных данных и предоставляет руководителям групп лучшую ситуационную осведомленность».
« Искусственный интеллект может повысить безопасность находящихся в эксплуатации самолетов, кораблей и транспортных средств в ситуациях, которые могут быстро измениться, путем предупреждения своих операторов о возможных рисках».
В том же тоне стратеги Министерства обороны США говорят:

«Мы будем использовать ИИ для прогнозирования отказов оборудования, автоматизации диагностики и планирования обслуживания на основе данных о состоянии оборудования».
«ИИ будет использоваться для сокращения времени, затрачиваемого на повторяющиеся, выполняемые вручную и часто выполняемые задачи»…
Координация усилий, хронология.

В 2018 году Объединенному центру искусственного интеллекта Пентагона было поручено разработать политику, чтобы претворить в жизнь новые принципы искусственного интеллекта и руководить внедрением во всем департаменте. Его стратегические рекомендации были переданы руководству уже через год.

В середине сентября 2020 года более 100 официальных лиц из 13 стран встретились онлайн якобы для того, чтобы обсудить, как их вооруженные силы могут внедрить этичный ИИ. Встреча почти не освещалась за исключением нескольких средств массовой информации, но в них она была названа беспрецедентной. Breaking Defense охарактеризовал это мероприятие как «чрезвычайную встречу, которая подчеркивает, насколько важным становится искусственный интеллект для США и их союзников».

Присутствовали только по приглашению члены НАТО: Великобритания, Канада, Дания, Эстония, Франция и Норвегия; союзники по договору, не входящие в НАТО – Австралия, Япония и Южная Корея; и де-факто союзники США – Израиль, Финляндия и Швеция.

Хотя стенограмма встречи не была опубликована, ее заявленным фокусом была «этика». Тогдашний глава отдела стратегии и политики в JAIC (ныне старший менеджер программы в Amazon) Марк Билл сказал Breaking Defense:

«Мы действительно сосредоточены сейчас на объединении вокруг [общих] основных ценностей, таких как цифровая свобода и права человека, ...международное гуманитарное право».
В феврале 2020 года Министерство обороны США опубликовало список из пяти этических принципов ИИ, основанных на рекомендациях Совета по оборонным инновациям и других экспертов внутри и за пределами правительства. Согласно списку, военный персонал должен нести ответственность и проявлять соответствующий уровень рассудительности и осторожности, оставаясь при этом ответственным за разработку, развертывание и использование возможностей ИИ.

В мае 2021 года замминистра обороны подписала меморандум, в котором излагается приверженность министерства обороны США ответственному использованию искусственного интеллекта. В этой записке изложены принципы продвижения и практического применения принципов этики ИИ американского Минобороны.

С целью создания надежной экосистемы инструментов ИИ и экспертных знаний в предметной области, принципы, изложенные в меморандуме, позволят департаменту укрепить военный потенциал и доверие у сотрудников, бойцов и американской общественности за счет ответственного использования ИИ.

Меморандум.

В меморандуме излагаются планы Министерства обороны США относительно развития ответственного искусственного интеллекта.


Эти принципы включают:

Ответственность: сотрудники Министерства обороны США будут проявлять должный уровень рассудительности и осторожности, оставаясь при этом ответственными за разработку, развертывание и использование возможностей искусственного интеллекта.

Справедливость: департамент предпримет целенаправленные шаги, чтобы свести к минимуму непреднамеренную предвзятость в возможностях ИИ.

Отслеживаемость: возможности ИИ будут разработаны и развернуты таким образом, чтобы соответствующий персонал обладал надлежащим пониманием технологий, процессов разработки и операционных методов, применимых к возможностям ИИ, включая прозрачные и проверяемые методологии, источники данных, процедуры проектирования и документацию.

Надежность: возможности ИИ будут иметь явное, четко определенное использование, а безопасность, защищенность и эффективность таких возможностей будут подвергаться тестированию и проверке в рамках этих определенных видов применения на протяжении всего их жизненного цикла.

Управляемость: департамент будет развивать и разрабатывать возможности искусственного интеллекта для выполнения намеченных функций, обладая при этом способностью обнаруживать непредвиденные последствия и избегать их, а также выключать их или отключать развернутые системы, демонстрирующие непреднамеренное поведение.

Автоматизация или автономность.

При обсуждении использования ИИ в вооруженных силах и его последствий следует уточнить концепции автоматизации и автономности.

Эти два понятия отличаются друг от друга.

В системах автоматизации человек делегирует задачу машине или роботу. В этих системах задача и метод для машины уже определены заранее. Ему передаются данные, и он выполняет задачу. Уровень автономности может быть разным.

Если задача детально заранее определена, то машина имеет низкую автономность, а если задача определяется, однако методы и детали не определены заранее, то машина имеет высокую автономность. Однако важно понимать, что задача известна и выбрана человеком.

В автономных системах машина способна и может действовать без каких-либо ограничений и правил.

Основное различие между этими двумя терминами состоит в том, что человеческое решение принимается автономными системами, машины становятся независимо решающими и действующими существами. Именно существами, так как их когнитивные компетенции становятся неотличимыми от человеческих.

Например, полностью автономное оружие определяется как оружие, которое выбирает цели и поражает их без разрешения человека. В автономном оружии и системах человеческая сила принятия решений и управления прекращена.
Летальные автономные системы вооружений.

Поскольку за последние 5 лет государства – члены Организации Объединенных Наций не добились большого прогресса в обсуждении летальных автономных систем вооружений (АСВ), характер войны меняется на наших глазах.

Это изменение происходит без надлежащей подотчетности или общественного контроля, поскольку горстка стран продолжает вкладывать огромные средства в повышение автономности своих систем вооружений в сочетании с передовым искусственным интеллектом.

Приведенные выше примеры статей о Калашникове и «Армате» – это о чем? Они разрешения у человека на убийство спрашивают?

Возможные проблемы в зоне боевых действий.

Автоматизация также делится на две другие категории.

Это автономия в состоянии покоя и автономия в движении. В состоянии покоя автоматизация предоставляется машине в программном обеспечении, в то время как автономность в действии означает автономность физического взаимодействия.

Если в зоне боевых действий будут использоваться машины, особенно смертоносные автономные системы оружия – это может вызвать огромную проблему.
Потому что смертоносное оружие приводит к гибели людей без какого-либо контроля со стороны человека.
Они автономно охотятся за целями и вступают в бой без прямого приказа людей.

Это очень спорное решение!

Любое неправильное действие может привести к гибели мирных жителей.

Другая потенциальная проблема заключается в том, что даже если автономное оружие, которое классифицируется как автономное в действии, не используется, все же процесс принятия решения в основном зависит от данных, предоставляемых ИИ.

По этой причине и в разгар более быстрого этапа боевых действий люди могут принимать неправильные и вводящие в заблуждение решения.



Поясняю на недавнем трагическом примере.

Министр обороны США Ллойд Остин принёс извинения за ошибочный удар американского беспилотника по Кабулу, в результате которого погибли десять афганцев, включая семерых детей.


Фото: U.S. Secretary of Defense
Глава Центрального командования ВС США генерал Кеннет Маккензи заявил, что американские военные завершили расследование авиаудара беспилотника в Кабуле 29 августа и признали, что случившееся было ошибкой.


Пентагон уверен, что в результате этой операции не было уничтожено ни одного лица, связанного с группировкой «Исламское государство в Хорасане» (ответвление террористической организации «Исламское государство», запрещенной на территории России).


Кеннет Маккензи признал, что автомобиль, по которому был нанесен удар, не имел никакого отношения к террористам, а погибшие не представляли никакой угрозы для американских военных. Глава Центрального командования заключил, что удар является трагической ошибкой, но не следует судить о возможностях США наносить удары по боевикам на основании данного промаха.

Стоимость жизни.

Если автономное оружие убьет мирного жителя, кто будет за это отвечать?

Можно ли обвинить программиста, солдата или правительство, которые покупают систему с искусственным интеллектом?

С позиции человеческого достоинства, незаконно и противоестественно, что для автономного оружия или другой машины делегирована возможность забирать человеческую жизнь.

Основание этого аргумента состоит в том, что убийство человека – серьезная и моральная проблема, и только люди могут принять такое важное решение.

Убийство вообще является морально неправильным по своей сути, и для жертвы не имеет значения, кто решил или кто совершил это действие. Но для общества этот вопрос не маловажен. Он инициирует вопрос о стоимости человеческой жизни.

Стоимость человеческой жизни – это не отвлеченное понятие, а конкретный критерий, без которого ни одна система вооружения с ИИ принципиально работать не может.

Например, для решения конкретной боевой задачи, система оценивает потери: надо будет пожертвовать одним американским солдатом или тремя союзниками?
Ценность гражданского населения вообще как-то оценивается и учитывается?

В контексте статистики существует концепция «стоимости жизни», которая используется для представления стоимости предотвращения смерти в различных обстоятельствах. Например, в 2016 году Министерство транспорта США оценило «ценность статистической жизни» в 9,6 миллиона долларов США.

Агентство по охране окружающей среды США также использует показатель «ценность статистической жизни», хотя оно изо всех сил пытается объяснить (или скрыть), почему это не то же самое, что оценивать индивидуальную жизнь.

Сколько стоит каждый?

Американцы это особо не афишируют, но средняя стоимость американского военнослужащего составляет в тестовых программах примерно соизмеримую цену, допустим, 10 миллионов долларов.

Очевидно, что это не будет разглашаться. Но в алгоритмах ИИ будет заложена не средняя ценность различных категорий военнослужащих, а стоимость с учетом званий и гендерной принадлежности.

Это порождает сложные, с точки зрения морали, но легкие для алгоритмов ИИ задачи и решения.

Например, стоит ли рисковать десятью морскими пехотинцами для спасения или эвакуации трупа их товарища?
Ограничения ИИ.

Предполагая, что сказанное выше верно и что развертывание автономного оружия действительно неизбежно, мы должны решать весь спектр проблем, которые оно представляет.

Для этих целей надо бы иметь в виду принцип соразмерности в гуманитарном праве, а это означает понимание того, как автономное оружие может достигать пропорциональных результатов на поле боя.

Тем не менее, хотя действительно верно, что автономное оружие создает некоторые серьезные проблемы, для того, чтобы понять надлежащий масштаб этих проблем, важно реалистично оценивать, что автономное оружие может делать, а что – нет.

Гуманитарное право.

Думаю, что многие военные, бывшие и нынешние, вообще не поймут смысл этого словосочетания. В этом тоже проблема и постановщиков задач, и разработчиков оружия.

Например, международное гуманитарное право требует различать комбатантов и гражданских лиц и требует, чтобы неизвестные лица считались гражданскими лицами.

Чтобы соответствовать закону, система с поддержкой ИИ, которая не знает статуса человека, должна будет проконсультироваться с человеком-оператором, прежде чем действовать таким образом, который может нанести непропорциональный вред этому человеку. Уже одно это требует от разработчиков на начальном этапе проектирования системы анализа компромиссов между человеком и машиной, учета времени задержки принятия решения и включения в технические разработки достаточного времени, чтобы операторы могли проанализировать решения, принятые машиной.
В конечном счете, взаимное усиление этических и технических требований определяет планы разработчиков, закрепляя принцип, согласно которому проектирование и разработка должны основываться на понимании этических проблем, которые могут возникнуть на местах.

Этика.

Защита исследований и использование искусственного интеллекта в рамках определенных этических параметров – это элемент, выделенный особо в стратегии Министерства обороны США.

Документ передает не только идею озабоченности гуманитарными ценностями и этикой войны, но и критикует российские и китайские руководящие принципы в этой области: за поддержку технологических инвестиций, которые «вызывают вопросы, касающиеся международных стандартов и прав человека».
Требования к операторам.

Операции обнаружения целей, наблюдения и разведки (ISR) для поддержки других военных действий имеют решающее значение. Интеграция ИИ очень полезна и предпочтительна в операциях ISR.

В частности, с помощью БПЛА цели могут быть идентифицированы или любые потенциальные угрозы могут быть обнаружены на очень ранней стадии.

Распознавание цели также является частью этого аспекта. Технологии искусственного интеллекта используются для повышения точности распознавания целей. Эти методики позволяют войскам получать углубленный анализ поведения врагов, прогнозов погоды, уязвимостей врага и их собственной армии, а также стратегии смягчения последствий.

Цена ошибки.

Смертоносные системы на основе ИИ принципиально уязвимы для предвзятости, взлома и сбоев в работе компьютеров. Ожидается, что до 85 % всех проектов ИИ будут иметь ошибки из-за предвзятости алгоритма, предвзятости программистов или предвзятости в данных, используемых для их обучения.

Кто обучает ИИ?
Кто конкретно?
Насколько эти люди компетентны не только в программировании?
Есть ли у них социальный опыт?
Читали ли они Достоевского, Толстого, Чехова, научную фантастику, в том числе 40 произведений вышеупомянутого Айзека Азимова, Гарри Гаррисона и других, которые, думая за роботов (ИИ), придумали десятки способов как обойти законы робототехники?
Есть ли у разработчика семья, дети, внуки?
Будет ли доступен Открытый код ИИ, где будет цена жизни каждого и алгоритмы поражения (убийства) менее ценных во имя спасения более ценных?
Кто возьмет на себя ответственность?
Вопросы риторические.

Поэтому военный ИИ всегда будет заключен в секретный черный ящик, и кто будет очередной жертвой, никто не предскажет.


Рамки военного ИИ.

Учитывая широкий спектр потенциальных приложений и проблем, связанных с искусственным интеллектом, министерство обороны США и его подрядчики должны решать юридические и этические проблемы на ранних этапах жизненного цикла разработки, начиная с этапов формирования концепции искусственного интеллекта и заканчивая ее реализацией и последующим развертыванием.

Этические соображения должны формировать будущие системные требования, и разработчики должны осознавать как технические, так и этические проблемы.

Включение этического анализа может изменить процессы моделирования и создать новые затраты для конструкторов, но лица, принимающие решения, и разработчики должны осознавать, что «ранний и частый» подход имеет ощутимые преимущества, включая помощь в будущих проверках соответствия.

DARPA при делах.

Так как проблема безопасности ИИ является концептуальной, под эгидой Агентства перспективных оборонных исследовательских проектов (DARPA) многопрофильная исследовательская группа ученых, философов, юристов, военных экспертов и аналитиков рассматривает право и этику для анализа технологических зависимостей и компонентов системы с момента ее создания.

Этот аналитический процесс может быть применен к другим системам и предлагает один из путей развития этичного военного ИИ.

Формирование системных требований

Целостный анализ правовых, моральных и этических последствий будущих автономных систем с поддержкой ИИ на ранней стадии часто потребует, прежде всего, устранения концептуального разрыва.

Оценки должны различать возможное и правдоподобное, исследуя как идеальную производительность системы в работе, так и ее реальную способность выполнять задачу.

Анализ этических сильных и слабых сторон требует, чтобы оценщик понимал цель системы, ее технические компоненты и их ограничения, соответствующие правовые и этические основы, а также эффективность системы при выполнении задачи по сравнению с задачей человека-оператора.

А в этом жизненный и гуманитарный опыт, возможно, важнее технических и программных знания и навыков.

На самом деле, оценка этического соответствия от проектирования до развертывания напоминает спиральную модель, требующую повторного тестирования, создания прототипов и их проверки на предмет технологических и этических ограничений.

Юридические и этические соображения требуют расширения требований с чисто технических (например, компьютерное зрение, распознавание изображений, логика принятия решений и автономность транспортного средства) до включения международного гуманитарного права, законов войны и соответствующих постановлений о деликатном праве.

Требования этической документации.

Требования этической документации – по сути, запрашивают бумажный след, посвященный исключительно юридическим, моральным и этическим соображениям – представляют собой простой метод фиксации объяснимости системы.

Разработчики должны документировать свои системы и включать критические зависимости, возможные точки отказа и пробелы в исследованиях, чтобы гарантировать, что нетехническая аудитория понимает правовые и этические риски и преимущества новых систем с поддержкой ИИ.

В соответствии с первоначальным и часто используемым принципом, разработчики должны будут рассмотреть концепции операций – то, как их система будет использоваться в полевых условиях – на более раннем этапе процесса проектирования, чем это обычно делается в настоящее время, чтобы точно задокументировать свои системы.

От разработчиков уже требуется подготовить документацию по снижению рисков для выявления и устранения технических проблем для новых систем. Подобная документация по этическим рискам гарантирует, что разработчики прозрачно рассматривают этические проблемы на ранних этапах процесса проектирования.

Машинное обучение.

Ранний и часто этический анализ также может выявить пробелы в соответствующих исследованиях и указать на возможность систематической ошибки, пока конструкции все еще находятся в разработке.

Выявляя пробелы в исследованиях, где это могло бы помочь разработчикам делать этичный выбор дизайна, лица, принимающие решения, могут выделять ресурсы на исследования, которые удовлетворяют насущные потребности.
Описание операционных сред, в которых будет работать система с поддержкой ИИ, часто зависит от эпизодических воспоминаний разработчиков (а также историй и баек сопричастных) о боевых действиях. Это может служить полезной отправной точкой для обучения этих систем, но не гарантией правильного обучения.
Многие методы машинного обучения в решающей степени зависят от доступа к обширным и тщательно подобранным наборам данных. В большинстве случаев такие наборы данных, учитывающие тонкости и нюансы конкретных операционных сред и условий, просто не существуют.

Даже там, где они существуют, они часто требуют значительных усилий для преобразования в форматы, пригодные для процессов машинного обучения.

Кроме того, сообщество ИИ на собственном горьком опыте узнало, что даже хорошо разработанные наборы данных могут содержать непредвиденные предубеждения, которые могут вкрасться в машинное обучение, вызывая серьезные этические проблемы.

Алгоритмическая предвзятость.

Алгоритмическая предвзятость описывает систематические и повторяющиеся ошибки в компьютерной системе, которые приводят к несправедливым результатам, например, к привилегии одной произвольной группы пользователей перед другими.

Предвзятость может возникать из-за множества факторов, включая, помимо прочего, дизайн алгоритма, непреднамеренное или непредвиденное использование или решения, касающиеся того, как данные кодируются, собираются, выбираются или используются для обучающего алгоритма.

Остановить роботов-убийц

Существует кампания «Остановить роботов-убийц» – это коалиция неправительственных организаций, стремящихся упреждающе запретить летальное автономное оружие (LAWS).

Генеральный секретарь Организации Объединенных Наций (ООН) в своем докладе о защите гражданского населения в вооруженном конфликте за 2020 год призвал государства незамедлительно принять меры для устранения опасений по поводу летальных автономных систем оружия . Это первый отчет ООН о защите гражданского населения с 2013 года, в котором подчеркивается общая обеспокоенность по поводу роботов-убийц.

В докладе за 2020 год Генеральный секретарь Антониу Гутерриш считает, что «все стороны, по-видимому, согласны с тем, что как минимум необходимо сохранить человеческий контроль или суждение о применении силы». Он также отмечает, что «все большее число государств – членов призывают к запрету законом». С ноября 2018 года Генеральный секретарь ООН неоднократно выражал желание подписать новый международный договор о запрете роботов-убийц.
Кампания «Остановить роботов-убийц» приветствует призыв ООН к государствам согласовать «ограничения и обязательства, которые должны применяться к автономии в оружии». Государствам следует начать переговоры по новому международному договору о запрещении полностью автономного оружия, сохраняя при этом реальный человеческий контроль над применением силы.

На первый взгляд, прикладные правовые, моральные и этические соображения кажутся обременительными, особенно там, где, вероятно, потребуются новые требования к персоналу или документации.

Они также могут потребовать от сообществ разработчиков, приобретателей и эксплуатантов переоценки применимости их стандартных операционных процедур.
 

Заключение


Собственно, все проблемы ИИ проистекают от интеллекта естественного, то есть из самой человеческой природы.

И на этой базовой основе ИИ не может быть лучше.


Война является отрицанием истины и гуманности.
Дело не только в убийстве людей, ибо человек должен так или иначе умереть, а в сознательном и упорном распространении ненависти и лжи, которые мало-помалу прививаются людям.

Джавахарлал Неру
Но если, в силу своих безмерно возросших когнитивных возможностей и делегированного самими людьми прикладного могущества, ИИ все же станет умнее и нравственнее создателей, он, естественно, задумается, как в лучшем случае исправить людей или, возможно, их уничтожить, как низшее звено эволюции, выполнившее свою задачу?

Автор:  Сергей Иванов 

Искусственный интеллект - самый живой среди живых

    «Крокус-покус» Агаларовых: здание в кадастре не числится, а работали дети и самозанятые

    Многие наверняка обратили внимание на школьников, выводивших людей из «Крокус Холла» в ходе теракта 22 марта. Они прославились на всю страну и получили уже немало наград. Правда, юридич...

    Русская ракета попала "куда нужно". Варшава спешно отправила в отставку инструктора ВСУ после смерти генерала
    • ATRcons
    • Вчера 20:06
    • В топе

    Решение об отстранении было принято на основании данных контрразведки Польши. Кадровые перестановки в "Еврокорпусе"  Пресс-служба Министерства обороны Польши сообщает об уволь...

    Наши спортфедерации потоком отказываются от Олимпиады

    "Слать команду бомжей не будем!" Федерации одна за другой посылают Париж-2024 лесом.История с допуском-недопуском наших спортсменов на парижские ОИ уже изрядно приелась. Столько было сл...

    Ваш комментарий сохранен и будет опубликован сразу после вашей авторизации.

    0 новых комментариев

      Jivoy 7 декабря 2023 г. 10:02

      Российские ученые нашли способ ускорить реакции человека

      Этот метод может быть использован для повышения концентрации внимания пилотов, сказал исследователь. Российские ученые создали метод ускорения реакций человека путем стимуляции областей мозга, где генерируются и воспринимаются изображения. Среди преимуществ метода можно отметить то, что он может помочь людям оправиться от травм головного мозга и улучшить концен...
      557
      Jivoy 19 ноября 2023 г. 11:52

      Единственный доказанный факт применения климатического оружия

      Человечество постоянно ищет способ придумать какое-нибудь совершенное и самое разрушительное оружие. «Претендентов» на звание нового особого мощного оружия массового уничтожения несколько. Часть из них относится к так называемому геофизическому оружию. Эта категория пока несуществующих видов вооружения должна использовать некие технологии влияния на ок...
      2051
      Jivoy 17 сентября 2023 г. 10:57

      Что будет, если человеку перельют кровь не той группы?

      Вроде бы все понимают, что при переливании крови есть определенные правила от которых нельзя отступать. А что собственно будет, если отступить? В плазме крови есть белки, которые называются антитела. Они выделяются как ответ иммунной системы на попадание в кровь различных вирусов, бактерий и прочих «захватчиков». В крови также есть антигены (не п...
      1571
      Jivoy 5 сентября 2023 г. 14:12

      Громкий старт новой волны пандемии коронавируса

      У Джилл Байден положительный результат на COVID, у президента Байдена тест отрицательный - Белый дом  Первая леди США Джилл Байден получила положительный результат на COVID-​19 всего за несколько дней до того, как президент Джо Байден, у которого тест на вирус оказался отрицательным, должен отправиться на саммит Большой двадцатки в Индии, Белый дом сказал в по...
      1467
      Jivoy 12 августа 2023 г. 15:17

      В мире увеличивается количество больных новым коронавирусом

      Американское издание The New York Post пишет, что случаи заболевания коронавирусом в Нью-Йорке увеличились на 55 процентов, рост отмечается также и в других штатах. «Последние данные Департамента здравоохранения штата Нью-Йорк, опубликованные 2 августа, показывают, что число случаев COVID выросло на 55 процентов по сравнению с предыдущей неделей, при этом...
      848
      Jivoy 9 августа 2023 г. 17:08

      В Нью-Йорке число случаев COVID выросло на 55%

      «В Нью-Йорке число случаев COVID выросло на 55%, врачи предупреждают о новых вариантах»: Коронавирус никуда не делся - он просто затаился, и медики ждут появления нового смертоносного варианта. «Рост числа случаев COVID-19 не ограничивается Нью-Йорком. Центр по контролю и профилактике заболеваний США зарегистрировал 8000 случаев госпитализации...
      390
      Jivoy 16 июля 2023 г. 14:11

      Начнутся испытания первого в мире препарата для восстановления зубов на людях

      Японские исследователи начнут испытания первого в мире препарата для восстановления зубов на людях в июле 2024 года ОСАКА — Японская исследовательская группа добилась успехов в разработке принципиально нового препарата, который позволит людям выращивать новые зубы. Клинические испытания на людях начнутся в июле 2024 года с целью обеспечения возможности...
      1360
      Jivoy 28 июня 2023 г. 15:23

      В Москве заработала третья нейросеть для медицинской диагностики

      В Москве заработал третий по счету диагностический инструмент на основе искусственного интеллекта, сообщил мэр Сергей Собянин. Подобными службами пользуются 1500 рентгенологов из 150 столичных учреждений; постепенно к ним присоединяются и коллеги из других регионов России. Нейросеть анализирует отклонения на снимках, полученных путем компьютерной томографии, по...
      438
      Jivoy 8 июня 2023 г. 15:18

      В Москве еще 7 заболеваний будут выявлять с помощью новой нейросети

      В Москве заработал новый комплекс искусственного интеллекта, который выявляет до 7 заболеваний на снимках, полученных путем томографии. Заместитель мэра по вопросам социального развития Анастасия Ракова рассказала, что система может обнаружить COVID-19, остеопороз позвоночника, аневризму аорты, легочную гипертензию, рак легких, ишемическую болезнь сердца и гидрото...
      360
      Jivoy 6 мая 2023 г. 10:17

      ВОЗ отменила статус пандемии для COVID-19

      Всемирная организация здравоохранения отменила статус глобальной пандемии COVID-19, заявил глава ВОЗ Тедрос Адханом Гебрейесус. «Комитет экспертов ВОЗ по чрезвычайным ситуациям по COVID-19 предложил мне отменить статус чрезвычайной ситуации в области общественного здравоохранения, имеющую международное значение (PHEIC) COVID-19. Я последовал этому совету ...
      381
      Jivoy 27 апреля 2023 г. 12:27

      Что говорит наука о вирусах

      Миллиарды лет назад органические молекулы научились реплицировать в первичном бульоне себе подобных. Так возникли первые формы жизни. Потом продвинутые молекулы создали клеточную оболочку и смогли таскать бульон с собой. Но неклеточные формы жизни никуда не исчезли. Их генетическое разнообразие до сих пор гораздо выше, чем у всех растений, животных и микроорганизм...
      1127
      Jivoy 18 апреля 2023 г. 15:07

      В московском медкомплексе испытывают отечественный аэрогель для заживления ран

      В московском медицинском комплексе "Коммунарка", расположенном в одноименном поселке, началось тестирование отечественного аэрогеля для заживления ран. Ожидается, что препарат станет надежной заменой иностранным аналогам. Глава департамента инвестиционной и промышленной политики Владислав Овчинский рассказал, что сегодня в городе работают 95 предприят...
      439
      Jivoy 15 апреля 2023 г. 20:56

      Австралийцы начинают широкую общественную кампанию по выходу из ВОЗ

      Австралийцы начинают широкую общественную кампанию по выходу из ВОЗ (Всемирной Организации Здравоохранения ООН), поскольку внесение поправок о том, что ВОЗ им. Билла Гейтса (одного из крупнейших донаторов организации) и Big Pharma должна стать мировым ЗАКОНОДАТЕЛЬНЫМ органом в области здравоохранения, а не консультативным (как сейчас), переходит все границы дозвол...
      928
      Jivoy 20 января 2023 г. 14:19

      Достижения науки. Ученый из России совершил фундаментальное открытие в области генетики

      Руководитель направления «Нанобиомедицина» университета «Сириус», заведующий лабораторией МФТИ Максим Никитин открыл механизм «молекулярной коммутации» ДНК, который меняет представления в биологии. Результаты исследования опубликованы в одном из самых авторитетных научных журналов Nature Chemistry. От...
      1239
      Jivoy 20 ноября 2022 г. 11:30

      Почему в Индии взрослые мужчины держатся за руки

      В Индии, среди представителей сильной половины человечества, есть очень странная традиция – ходить, взявшись за руки. Что это? В Индии есть много странных вещей, которые могут смутить неопытного путешественника. Некоторые традиции индусов и вовсе могут показаться дикими. И знаете, почитание «говядины» — это самое безобидное, что есть ...
      2799
      Jivoy 19 ноября 2022 г. 15:22

      Закрытие границ – не наказание, а шанс для России

      Инициируемое Западом закрытие границ и научных контактов с Россией даёт шанс на возрождение образования и медицины. Об этом на пресс-конференции в Москве заявил политолог Сергей Серебренников, передает корреспондент «ПолитНавигатора». «Когда-то уважаемый президент Соединенных Штатов Америки сказал, что Россия, конечно, выиграла войну и ...
      799
      Jivoy 24 августа 2022 г. 10:43

      Оспу обезьян зафиксировали во всех 50 штатах США

      Соединенные Штаты пожинают плоды своей военно-биологической деятельности. На территории Нигерии, которая стала эпицентром новой вспышки оспы обезьян, функционируют шесть биолабораторий, подконтрольных Пентагону. И вот на сегодняшний день оспу обезьян зафиксировали во всех 50 штатах США. По данным Центров по контролю и профилактике заболеваний, всего в США зараз...
      446
      Jivoy 28 июля 2022 г. 19:32

      В Роспотребнадзоре назвали условие для возвращения ограничений из-за коронавируса

      Роспотребнадзор: коронавирусные ограничения могут быть возвращены при ухудшении эпидемиологической обстановки Федеральной службе по надзору в сфере защиты прав потребителей и благополучия человека (Роспотребнадзоре) назвали условие для возвращения ограничений из-за COVID-19. В ведомстве допустили, что это действительно может произойти, передаёт Общественная ...
      736
      Jivoy 28 июля 2022 г. 12:29

      В Калифорнии смогли вылечить пациента одновременно от ВИЧ и рака крови поздней стадии

      Ученые Калифорнийского университета смогли вылечить четвертого пациента от ВИЧ и лейкемии, пишет Daily Mail. 66-летний мужчина с диагностированным с 1988 года ВИЧ стал старейшим человеком, вылечившимся от вируса иммунодефицита человека. Пациент прошел курс химиотерапии пониженной интенсивности. В 2019 году ему трансплантировали стволовые клетки крови, с этого м...
      472
      Jivoy 23 июля 2022 г. 17:43

      Как подготовиться к ядерной войне, чтобы выжить?

      Еще совсем недавно вероятность ядерной войны никто не воспринимал всерьез. Казалось, что все эти угрозы навсегда остались в 60-70-х годах прошлого столетия. Но, как мы видим, политики вновь вспомнили о ядерном оружии, а эксперты стали рассуждать, будет ли ядерная война в 2022 году. Разумеется, это вовсе не значит, что нас действительно ждет ядерный апокалипсис. Сценар...
      1590
      Служба поддержи

      Яндекс.Метрика