Израиль применял нейросеть Lavender для ударов по тысячам мирных палестинцев. Что это за система и как она работала?
В первые недели операции против ХАМАС система определила 37 тыс. палестинцев как потенциальных членов ХАМАС и «дала добро» на нанесение ударов как по ним, так и по их домам.
По замыслу разработчиков, Израилю была необходима система, которая могла бы быстро обрабатывать огромные массивы данных для создания тысяч потенциальных «мишеней» в разгар войны. Машина должна была устранить «бутылочное горлышко» в принятии решения об ударе. Иначе говоря, речь шла об автоматизированном нейросетевом целеуказании для израильской армии.
В расследовании об эффективности Lavender утверждается, что система даёт осечку с распознаванием цели примерно в 10% случаев. Применительно к действиям Израиля это может означать, что порядка 3,7 тыс. человек были ошибочно помечены как цели для авиаудара (и, скорее всего, атакованы).
Первоначальная выборка показывала, что Lavender достигла 90%-ной точности в определении принадлежности человека к ХАМАС. Это и стало основной причиной её внедрения.
В случае если целью был высокопоставленный чиновник ХАМАС в ранге командира батальона или бригады, ЦАХАЛ санкционировал удар даже при вероятности гибели более 100 гражданскх лиц в качестве сопутствующего ущерба.
В протоколе контроля за Lavender перед ударом по дому подозреваемых значилась ОДНА проверка: человеку было необходимо убедиться, что выбранная ИИ цель — мужчина, а не женщина. На такое подтверждение тратилось всего несколько секунд.
Для выявления членов ХАМАС система обрабатывала доступные сведения из всех существующих баз данных, включая, судя по всему, IMEI мобильных телефонов. Расследователи утверждают, что, если палестинцы отдавали свои смартфоны детям, удары наносились и по ним.
Для уничтожения Аймана Нофала, командира бригады ХАМАС в Центральной Газе, в ЦАХАЛ санкционировали убийство примерно 300 мирных жителей, оказавшихся в зоне поражения.
В ЦАХАЛ хорошо знали, что ошибки в распознавании целей могут происходить, тем не менее нейросеть с неточными алгоритмами была принята на вооружение, поскольку она всё равно принимала решения быстрее человека.
Авторство программы приписывают командиру специального подразделения радиоэлектронной разведки Израиля «Подразделение 8200».
Какой вывод можно сделать?
В материале отмечается, что система выдавала рекомендации по нанесению удара даже в том случае, если «цель» имела незначительные пересечения с палестинцами из ХАМАС. Это обстоятельство заставляет задуматься о качестве разведданных, собранных ЦАХАЛ до и во время удара.
В результате работы алгоритмов Lavender могли пострадать (или были убиты) от нескольких тысяч до нескольких десятков тысяч мирных жителей Газы, однако окончательные цифры по этому параметру могут оказаться в разы выше.
P.s.: ‘Lavender’: The AI machine directing Israel’s bombing spree in Gaza - https://www.972mag.com/lavende...
Оценили 7 человек
10 кармы