«Фантазии» Лема, Шекли и Азимова о «роботах-убийцах» становятся реальностью
31 августа в Женеве закончила работу очередная сессия группы экспертов ООН по проблематике смертоносных автономных систем (САС) вооружений. Журналистам нравится называть такие системы роботами-убийцами. Специалисты из 70 стран предложили 10 принципов для будущего регулирования сферы разработки и применения САС международными законами.
Важнейшее положение опубликованного в воскресенье итогового документа — действие международного гуманитарного права должно распространятся на САС как на обычное оружие, а ответственными за их применение всегда остаются конкретные люди, невзирая на расширяющиеся возможности искусственного интеллекта, управляющего САС. В будущем предстоит определить ситуации, при которых применение САС недопустимо. Судя по деталям документа ООН, эксперты ожидают появления первых полностью автономных вооружений с искусственным интеллектом (ИИ) буквально в ближайшие годы.
За мораторий на разработку САС выступают 26 стран во главе с одной из ведущих военных держав — Китаем, а также огромное количество общественных организаций, ученых и бизнесменов, занятых в сфере искусственного интеллекта. Против моратория тоже немало государств, среди них США, Россия, Израиль и Великобритания. Каждое из них руководствуется собственными, специфическими мотивами. Но все они находятся на переднем крае НИОКР военных автономных систем.
Россия, обладающая огромным пустынным океанским побережьем (в том числе вдоль перспективного Северного морского пути ) и сухопутной азиатской границей, заинтересована в автономных вооружениях, исполняющих функцию многовекторной охраны. Кроме того, наша армия, что бы ни утверждали СМИ и блогеры, предназначена для решения довольно ограниченных задач. И ее скромные (в сравнении с крупнейшими странами НАТО) возможности заставляют военных учитывать уроки истории.
В январе 1945 года подлодка С-13 Александра Маринеско потопила лайнер «Вильгельм Густлов» и около 500 самых высококвалифицированных подводников и преподавателей рейха вместе с ним. Учитывая сроки подготовки, это была невосполнимая утрата, в Киле до конца войны стояло множество готовых подлодок без экипажей. И сегодня дороговизна, а также длительные сроки подготовки летчиков и моряков (и их денежного содержания) обращают взоры российских военных в сторону САС.
Что касается Израиля, то главная ценность для его командиров — сами военные, граждане Израиля. Противники их исповедуют прямо противоположную концепцию, людей не жалеют и готовы посылать на смерть любое количество федаинов и солдат, разницу между которыми последние годы разглядеть все труднее. Поэтому все усилия штабов ЦАХАЛ и правила войны по его границам направлены на выполнение боевой задачи при минимально возможных потерях. И абсолютно правильному решению Израиля перенести на САС значительную часть неизбежного военного риска в сражениях, которые никогда не прекратятся, можно, на мой взгляд, только аплодировать.
Пентагон же руководствуется собственной традицией, основанной на безграничной вере в прогресс. Вся история развития военной мысли США есть ряд последовательных попыток исключить из войны самую важную и самую ненадежную ее часть — человека, склонного в последний момент разрушить самые блестящие планы. Постоянная ставка на техническое превосходство, огромные ассигнования на военные НИОКР отражают эту характерную черту американской цивилизации.
И даже разгромный результат войны со слаборазвитым Вьетнамом многие военные мемуары склонны объяснять несовершенством техники. Для США и Великобритании разработка САС без участия человека — логичный шаг, отвечающий всему их историческому опыту. В том числе и трагическому.
3 июля 1988 года командир ракетного крейсера Vincennes Уильям Роджерс перепутал огромный иранский гражданский лайнер А300 с истребителем F-14 и сбил его зенитной ракетой. Погибло 290 человек, в том числе 65 детей. Однако перед командой на пуск система распознавания целей и управления «Иджис» успела выдать командиру уникальный код гражданского лайнера. Это то же самое, что номера на вашем автомобиле. Роджерс это сообщение проигнорировал. Выступая сегодня против моратория на создание САС, США в том числе поясняют, что в таких обстоятельствах военный ИИ запретил бы пуск ракеты.
«Решение об атаке человека не должно быть передано роботу» — этот тезис исчерпывающе описывает позицию противников развития военного ИИ, среди которых и Илон Маск. Однако не все так просто. Со своим призывом они несколько опоздали, лет примерно на пятьдесят.
Впервые разработчики были вынуждены доверить выбор места, времени атаки и цели автоматическим боевым системам, вооруженным особо мощными боеприпасами (в т. ч. ядерными), еще в 60-е годы. Просто появились такие средства доставки, которые не мог контролировать живой оператор. Огромные расстояния исключали возможность надежного управления, а скорость прохождения сигналов нашей нервной системы не позволяла точно реагировать на изменение ситуации при сверхзвуковых скоростях оружия.
В бортовые системы автоматического управления советских противокорабельных ракет «Гранит», «Вулкан» и позднее «Оникс» были заложены электронные профили кораблей НАТО. В полете уже ракета сама отличала военную цель от гражданской, определяла тип ордера, выбирала приоритетную цель и даже распределяла цели в группе ракет. Аналогичные системы создали в США и Европе. Современные же ракеты имеют гораздо больше самостоятельности во время сражения.
Примерно в это же время в СССР началось проектирование продвинутых минно-торпедных систем, аналога которым НАТО до сих пор не создала. Уже в 70-е они позволяли годами лежащему на дне оружию распознавать по характеристикам физических полей гражданские и военные суда, отличать своих от чужих, определять тоннаж, курс, скорость, тип корабельной силовой установки и абсолютно самостоятельно решать — пропустить ли противника или догнать и уничтожить. Причем сигнал активации эти автономные устройства, предположительно обложившие с конца 70-х важнейшие морские базы и порты НАТО, а также торговые маршруты, тоже получают с огромных дистанций. Как и команду на самоподрыв, впрочем.
Системы спецминирования в Афганистане советские войска начали устанавливать вдоль пакистанской границы на караванных тропах, по которым моджахеды ввозили оружие. Разбросанные на сотни метров датчики по колебаниям почвы и звукам отличали ослов от людей, груженых животных от пасущихся, стадо от каравана, коз от ослов и лошадей. Определив геометрический центр каравана, система выстреливала над ним на высоту 20 метров шрапнельный заряд. Что и говорить, такое оружие могло появиться только в стране, десятилетиями озабоченной контролем сверхпротяженных безлюдных границ.
Важно, что все эти элементы автоматизации «решения на поражение», как любят выражаться военные, развивались постепенно, усложнялись с каждым поколением. Поэтому невозможно точно указать время, когда судьбу боя, операции и целого сражения стало возможно решить без основополагающего участия человека. Произошло это примерно в 70-е годы.
Многие образцы современных вооружений сразу разрабатываются как управляемые оператором, так и в варианте полного автомата. Например, беспилотный вариант истребителя пятого поколения F-35 компания «Локхид» конструирует с 2006 года. Следующий после Су-57 истребитель России тоже собираются делать беспилотным. И облеченный всеми полномочиями на ведение боевых действий искусственный интеллект в бортовом компьютере этих самолетов — обязательный элемент. Предполагается, что без вмешательства оператора он будет взаимодействовать с ракетами, спутниками и соседними самолетами.
Особое внимание эксперты ООН в Женеве обратили на опасность САС, попавших в руки террористов. Уже сегодня, в кустарных условиях, им удается создавать оружие, имеющее потенциал полного автомата. Профессионально занимающийся вопросами развития автоматических систем член-корреспондент Российской Академии космонавтики Андрей Ионин комментирует эту часть проблемы САС следующим образом:
— Регулировать ту или иную технологическую сферу нас вынуждают обстоятельства. Процесс выработки таких регулятивных ограничений сложный и небыстрый даже в рамках одной страны. В международной сфере это еще сложнее. Можно вспомнить, что Россия предлагает ограничить размещение оружия в космосе, но США возражают и это длится долгими годами.
Когда несколько самодельных дронов атаковали базу РФ в Хмеймиме (Сирия), стало понятно, что такие же атаки могут обрушиться на правительственные и военные объекты любого члена НАТО, Японии или Китая. То есть пора регулировать каким-то образом эту сферу. Покушение же на Мадуро, где маленький автоматический дрон донес до главы государства килограмм взрывчатки, поставил точку в этой дискуссии.
В следующий раз целью может быть не политик, а плотная толпа, например во время моления, концерта или демонстрации: достаточно взорвать над ней тот же килограмм, начиненный гвоздями. А целью будет центр пятна инфракрасного излучения. Понятно, что давно уже доказавшие свою незаменимость во многих областях дроны не запрещать надо, а регулировать их использование. И правила писать по уму, с учетом интересов экономики и общества. В США, например, к этому уже приступили.
Регулирование использования небольших автоматических летательных аппаратов — лишь небольшая часть проблемы. Человечество стоит на пороге появления полностью автономных грузовиков и легковых машин, поездов и гражданских воздушных судов. Все они будут управляться искусственным интеллектом.
Довольно быстро настанет время, когда использование ИИ станет массовым. Он будет доступен и для слаборазвитых стран в том числе. Создать же какой-то особый, сугубо гражданский ИИ, который нельзя использовать в военных системах, по всей видимости, невозможно. И Тель-Авив не станет ждать, когда палестинские умельцы вынут бортовой компьютер из круглосуточного автономного зерноуборочного комбайна (у нас его прототип ускоренно создается при участии «Ростсельмаша»), модифицируют с помощью Ирана программу и вставят его в бронетранспортер. Израиль должен знать все про этот ИИ до его создания. Сегодня это выглядит как эпизод черной комедии. Но мое поколение читало о таких системах в книгах Станислава Лема, Шекли и Азимова, но без сомнения увидит их в железе. Поэтому, ограничить разработку устрашающих общество «роботов-убийц» может лишь добрая воля развитых государств при условии их полного доверия друг другу. В настоящий момент и в обозримом будущем такого доверия ожидать не приходится.
Оценили 17 человек
26 кармы