Гиена мЭрзкого лайт-фашизма /RP/

Московский эксперимент

Игорь Шнуренко

Если кто-то считал, что в современном мире слишком много свободы, то 2020 год доказал, что этой эпохе пришел конец. Приличная часть планеты сегодня находится в руках маньяков контроля, которые дорвались до почти безграничной власти. Эти люди не были замечены в бескорыстном служении обществу, но раньше они заполняли свою внутреннюю пустоту материальными вещами: шубами, часами, недвижимостью, наличными. Теперь они поняли, что получили власть отдавать любые распоряжения, самые безумные, и в господствующей атмосфере страха люди, которые ещё вчера могли рассуждать здраво, им подчинятся. 

В каждой стране абсурд (если это абсурд) принимает разные формы. Например, мэр Нью-Йорка Билл Де Блазио запретил людям купаться — пригрозил, что нарушителей будут силой вытаскивать из воды. Через неделю объявил о смягчении запрета — теперь людям позволяется заходить в воду по щиколотку. Но ни миллиметром больше! Лос-Анджелесский мэр запретил людям гулять по сухому песку, а по мокрому, так и быть, разрешил. На острове Лонг-Айленд рядом с Нью-Йорком власти опубликовали подробное предписание, как теперь следует играть в теннис. Только поодиночке и не касаясь чужих мячей! Нарушителей подстерегают камеры наблюдения и искусственный интеллект. 

Знакомьтесь: концлагерь 

В нашей избушке — свои погремушки. Многие москвичи столкнулись с приложением "социальный мониторинг" — произведением Департамента информационных технологий столичной мэрии. При выписке из больниц пациентов с диагнозом коронавирус заставляют подписать "добровольное согласие" на установку этого приложения. Этим людям не до формальностей, они верят врачам и подпишут любую бумагу, данную им, не читая. Многие из них слишком слабы после болезни — ведь от вируса, в первую очередь, страдают старики, люди с осложнениями, больные хроническими заболеваниями. Многих выписывают на дом долечиваться от последствий, например, с обширным поражением лёгких. Людям дают на подпись две страницы убористого текста с жёсткими обязательствами и, по сути, с отказом от элементарных конституционных прав, — отказом, который получен у ослабевших людей путём принуждения. Некоторые из них всё-таки читают и даже пытаются отказаться подписать "добровольное согласие", но им говорят, что в таком случае их отправят на принудительное лечение. Никто не гарантирует, что в палате, куда их поместят, не будет тяжелобольных — причём не только коронавирусом, а, например, туберкулёзом. 

У людей, по сути, нет выбора, и они устанавливают приложения, основанные на презумпции виновности. Вы виноваты по определению, уже по факту вашей болезни, и теперь вам предстоит доказывать свою невиновность — постоянно, днём и ночью. Если вы допустите хотя бы один прокол или будете слишком медлительны — любые сомнения будут истолкованы не в вашу пользу. Соцмониторинг будет отслеживать все ваши передвижения, в том числе — по квартире, и передавать данные в государственное облако, а оттуда — в ФСБ. Государственное облако нужно постоянно кормить информацией, днём и ночью, кормить прежде всего геоданными и фотографиями. За любое, самое мелкое нарушение полагается штраф в 4 тысячи рублей: за то, что медлите с установкой приложения, за то, что не прислали селфи в четыре утра, проснувшись по сигналу, как подопытная мышь у академика Павлова. Если данные куда-то утекли, власти "в домике" — виноват сам больной. Когда-то, в незапамятную конституционную эпоху, на такие эксперименты нужно было решение суда — теперь для вынесения решения достаточно искусственного интеллекта (ИИ) с разумом дождевого червя. 

В России пока ещё можно ходить по мокрому песку, но контроль не ограничивается одним московским приложением. По всей России работает система распознавания лиц. Некоторые думают, что она ничем не грозит тем, кто соблюдает законы. Эти люди забывают, что по факту действует презумпция виновности каждого. Недавно в Южно-Сахалинске женщину, которая приехала из другого города и должна была две недели отсидеть дома, оштрафовали на 15 тысяч рублей за то, что она якобы нарушила условия карантина. Нейронная сеть установила с вероятностью 61%, что она вышла в город. Когда женщине пришёл штраф, она пошла в полицию доказывать, что была в кругу семьи. Полицейский пригляделся к фото "нарушительницы", выданном системой распознавания лиц, и подтвердил, что не очень похоже. Но алгоритм показал, что это она, а если нейросеть выдаёт более 50% вероятности, то факт считается установленным. Женщина обратилась в суд, но тот принял сторону алгоритма. Штраф остался в силе. 

В России нет прецедентного права, но, в отсутствие чёткого регулирования и при склонности местных властей к произволу и перекладыванию ответственности в споре человека с алгоритмом, человек всегда останется в проигрыше. Ибо человек по определению виновен, а алгоритм по определению прав. Бесправие человека в споре с алгоритмом — очень важная составная часть "цифрового концлагеря", который создается сейчас в глобальном масштабе. 

Новые полномочия мэра Москвы 

Власть — сильнейший наркотик, и совершенно фантастические возможности упрочить её при помощи алгоритмов открываются в российской столице с 1 июля 2020 года, когда здесь в соответствии с новым федеральным законом начинает действовать "эксперимент" по спецрегулированию систем с искусственным интеллектом. Федеральный закон №123 называется длинно: "О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации — городе федерального значения Москве и внесении изменений в статьи 6 и 10 федерального закона "О персональных данных". 

Много говорилось о том, как быстро был принят Федеральный закон о едином реестре персональных данных, но ФЗ-123 о спецрегулировании искусственного интеллекта прошёл ещё более молниеносно. 14 апреля он был одобрен Госдумой, через три дня — Советом Федерации, а ещё через неделю, 24 апреля, его подписал президент. Всё это происходило в блиц-режиме, без какого бы то ни было обсуждения, о принятии этого сырого и противоречивого закона практически не упоминалось в СМИ — словно речь идёт об инструкции по эксплутации утюга. 

Этот закон дает мэрии Москвы очень широкие полномочия — гораздо шире тех, которыми Сергей Собянин пользовался и пользуется при карантине. Если мэр дотянет с ограничениями гражданских свобод до 1 июля, ввод в действие ФЗ-123 позволит ему не сбавлять обороты в получении всё новых полномочий, которые выходят далеко за региональный уровень. 

Итак, полномочия властям Москвы даются с 1 июля на пять лет, и касаются сбора и распространения информации, разработки и внедрения в жизнь систем искусственного интеллекта. Речь, в частности, идёт о создании комплексной программы "Умный город", которая, по словам Сергея Собянина, "охватывала бы все стороны нашей жизни". На сайте правительства Москвы был вывешен большой документ объёмом более чем в сто страниц со списком направлений развития инфраструктуры искусственного интеллекта и сопряжённых с ним технологий. В ней говорилось, например, о введении обязательных биометрических паспортов и о сборе огромного массива других данных. Заявленная цель, согласно документу — "предоставление услуг с высокой степенью персонализации и детальным пониманием нужд пользователей на основе анализа данных о них, об их предпочтениях и желаниях, а также данных об окружающей пользователей среде, полученных с помощью устройств интернета вещей". 

О чем здесь идёт речь? В первую очередь, о поведенческой аналитике и о предсказании поведения граждан по данным, которые будут собираться с них постоянно, — например, такими устройствами, как упомянутый выше "социальный мониторинг". Степень обязательности сбора данных пока остаётся под вопросом, но, судя по тому, что во время карантина мэрия ничуть не останавливалась перед принуждением, штрафами и угрозами, можно предположить, что стиль сбора поведенческих данных будет именно таким: агрессивно-принудительным. 

В списке медицинских технологий, над активным внедрением которых собирается работать правительство Москвы, числится, согласно документу, "ранняя диагностика заболеваний с помощью ИИ и назначение лечения", "контроль за состоянием пациента", "трансплантация искусственных органов", а также "вживление в организм медицинских устройств". Тем, кто обвиняет Никиту Михалкова в конспирологии, стоило бы обратить внимание на последнюю фразу. При этом за основу правительство Москвы принимает на вооружение руководящие принципы трансгуманизма, об этом в концепции говорится прямо. Под трансгуманизмом мэрия Москвы полагает "концепции и использование достижений науки и технологии для улучшения умственных и физических возможностей человека с целью устранения аспектов человеческого существования, которые считаются нежелательными — страданий, болезней, старения". Что именно мэрия намерена устранять путём привычных запретов, слежки, окриков и штрафов: старение или стариков? Вопрос остаётся открытым. 

Для нормального функционирования системе нужны будут абсолютно все данные, которые можно получить. Здесь очень важны не только информация о поведении человека онлайн, но и данные о нём после того, как он вышел из интернета. Поэтому огромное значение имеет биометрия, геодата, данные, собранные со всяческих медицинских датчиков и "приложений здоровья", а также распознавание лиц, эмоций и мотиваций. В последние годы в мире активно рос рынок автоматического распознавания эмоций, основанный на системе Пола Экмана FACS (Facial Action Coding System). Система распознаёт шесть базовых эмоций (гнев, страх, печаль, радость, отвращение и удивление) и широкий диапазон других эмоциональных оттенков, считывая микродвижения мускулов лица, а также головы, глаз, языка и так далее, а также анализируя походку человека. Модель FACS стала для распознавания машиной эмоций тем же, чем пятифакторная модель OCEAN, которая используется для построения в социальных сетях типа Facebook моделей человеческой личности и цифровых профилей пользователей. 

На основе таких моделей, которые позволяют сказать о человеке порой больше, чем он знает о себе сам, уже сейчас компании принимают решения, например, о приёме на работу, об отказе или согласии дать кредит. Когда система сбора и анализа поведенческих данных заработает в масштабах Москвы, метаданные и поведенческие данные, как родителей, так и ребёнка, могут быть учтены, например, при решении о приёме в детский сад или школу. Это касается также принятия решений о штрафах, о назначении пособий, удовлетворении или отклонении жалоб, приёме на работу в госучреждение и так далее. Известный российский предприниматель Давид Ян сделал состояние на системах искусственного интеллекта для распознавании речи, машинного перевода. Сейчас он предлагает компаниям услуги по "трекингу" сотрудников — то есть слежке за ними. Стартап Давида Яна Yva "предсказывает увольнение сотрудника ещё до того, как он принял решение уволиться". Вот как он рассказывал об этом в одном интервью: "К нам пришли наши корпоративные пользователи и сказали: вы понимаете про наших сотрудников и это, и это, а можете ли понять, кто с кем дружит?.. Мы: вообще не вопрос, мы знаем весь граф коммуникаций… Когда сотрудник начинает выгорать, его коммуникативный профиль меняется". 

Это раньше при приёме на работу или увольнении человек оценивал человека. Московский эксперимент по внедрению искусственного интеллекта приведёт к тому, что решения будет принимать машина, базируясь на пятифакторной модели оценки личности или на шестифакторной модели оценки эмоций, на данных, полученных из соцсетей и всевозможных датчиков. И машина будет всегда права. 

Пример действующей системы наподобие той, которую стремится построить мэрия, — "предсказательный двигатель" Фейсбука, который построен на платформе искусственного интеллекта и на выходе даёт более 6 миллионов предсказаний ежесекундно. На входы "двигателя" ежедневно поступают триллионы точек данных: о локации, деталях сети вайфай и подключённых к нему устройств, данные с видео, аудио, анализ дружб и контактов и так далее. Эти точки данных обучают тысячи моделей, задействованных для выработки предсказаний в режиме реального времени. 

Один из множества сервисов, которые обслуживает "двигатель", — "предсказание лояльности". Анализируется поведение с целью сделать вывод о том, может ли человек в ближайшем или в отдалённом будущем изменить запрошенному бренду. Если да, то он или она находится в группе риска, и рекламодатели начинают осаждать этого человека рекламными посланиями. Есть технологии, основанные на анализе больших данных, которые предвосхищают поведение заказчика. Когда в документе московского правительства говорится о "детальном понимании нужд пользователей на основе анализа данных", имеется в виду именно это. 

Чем ещё будет заниматься московское правительство в рамках проекта "Умный город 2030"? Например, беспилотным транспортом — где "водитель контролирует, но не управляет". "Улучшением дорожной ситуации за счёт уменьшения числа автомобилей". "Изменением качества и содержания образования: цифровой учитель на базе искусственного интеллекта, образовательные онлайн-платформы на базе виртуальной, дополненной и смешанной реальности". Планируется также повсеместное применение роботизированной техники и дронов. Ну, и "вишенкой на торте" станет электронное голосование на городских выборах. Насколько открыто и прозрачно будет проходить разработка такой системы? Судя по тому, что это никак не афишируется, о настоящих целях её создания можно только гадать. 

Город, управляемый бигдатой 

К 2030 году Москва должна стать "городом, управляемым данными", то есть принятие решений будет происходить "на основе автоматической обработки и анализа накопленных больших данных". Это требует "обеспечения надёжного и эффективного взаимодействия множества городских датчиков". Будет активно проводиться "автоматизация и роботизация городских процессов". Предстоит "полностью заменить весь физический оборот документов цифровым". 

Зачем это делается? В том числе — для "аутсорсинга ответственности". Ведь раньше люди подавали заявления и жалобы в письменном виде, и они рассматривались людьми. Теперь же заявления будут цифровыми, причём не просто цифровыми, а пригодными для обработки системами искусственного интеллекта. Ваше заявление или вашу жалобу рассмотрит нейросеть, она же примет решение, примерно как это происходит с соцмониторингом или с опознаванием лиц при помощи тех же систем искусственного интеллекта. А теперь самое, пожалуй, главное. В ФЗ-123 об эксперименте по развитию искусственного интеллекта в городе Москве никак не прописан механизм защиты людей от каких-либо ошибок или ущерба, могущего возникнуть в результате слишком активного применения новых технологий. Есть несколько ссылок на существующие законы РФ; пишется, что результатом применения экспериментального правового режима не может быть умаление прав граждан, но при этом никаких конкретных механизмов контроля не прописывается. Куда обращаться в случае нарушения ваших прав?

Что делать, если дрон залетел к вам в окно и разбил мебель? Что, если автомобиль-беспилотник, который находится под охраной ФЗ-123 в рамках эксперимента и специального режима, разбил вашу машину или сбил человека? Что, если вашего ребенка отказались принять в школу, в детский сад, или вам выписали штраф за правонарушение, которого вы не совершали? Что, если машина отказалась удовлетворить вашу жалобу на её же решение? 

Фактически все полномочия в применении ФЗ-123 передаются мэрии, а мэрия отдаст это на откуп искусственному интеллекту, машине, — как это уже сейчас происходит в случае "соцмониторинга". Мы видим, как не торопятся власти реагировать на жалобы москвичей, затронутых "соцмониторингом", и это происходит ещё до введения ФЗ-123, который даст мэрии все права в интерпретации этого и других законов. Что будет в приоритете мэрии: защита прав людей или интересы бизнеса и власти? Вопрос риторический… 

Есть ещё один важный момент. В федеральном законе 123 много раз используется выражение "обезличенные данные", "персональные данные, получаемые в результате обезличивания". При этом нигде не прописывается, как именно происходит обезличивание и кто будет контролировать эти процессы. 

Под обезличиванием обычно понимают действия, в результате которых становится невозможным без использования дополнительной информации определить их принадлежность конкретному субъекту персональных данных. Иными словами, данные остаются в системе, при этом невозможно более определить, кому они принадлежат. Однако эта задача и раньше считалась очень сложной, а прогресс технологий в последние годы привёл к тому, что можно сказать: "обезличивание" вряд ли приведёт к искомому результату. 

В 2012 году очень известные кембриджские ученые Михал Косински и Дэвид Ситвелл опубликовали академическую работу, в которой заключили, что "личность пользователя можно идентифицировать через публично доступные данные". На основе этих данных Ситвелл, замдиректора Центра психометрии Кембриджа, создал базу данных myPersonality. Похожие технологии, позволяющие определить личность человека на основе открытых данных, впоследствии получили широкое распространение. Так, в 2016 году другие британские учёные смогли установить личность известного анонимного художника Бэнкси, который всеми силами стремился остаться инкогнито. 

Вопрос о том, как будет происходить так называемое "обезличивание" данных, декларируемое в законе, и будет ли оно в реальности происходить, остаётся открытым. В самом тексте закона никаких пояснений нет. 

Опасные игры 

Федеральный закон 123 нигде и никем не обсуждался. Я думаю, если спросить у депутатов Думы, которые за него голосовали, они вряд ли открывали его. Интересно, что закон предусматривает создание некоего регулирующего органа с очень широкими полномочиями, который называется "координационный совет экспериментального правового режима". Его состав утверждается мэрией Москвы при согласовании с правительством РФ. Ни слова при этом не говорится о представителях общественности и вообще о каком-то обеспечении гласности работы этого органа, который будет решать судьбы миллионов людей. 

Впрочем, какое-то представление о принципах работы этого органа может дать любопытный документ, попавший недавно в руки автору этих строк. Это пока не закон, а проект, разрабатываемый юристами под руководством Сбербанка. Надо сказать, Сбербанк стоит у истоков разработки "Концепции о развитии искусственного интеллекта в России до 2030 года", подписанной президентом в октябре 2019 года, и других важных документов. 

Согласно этой разрабатываемой "Концепции развития регулирования в сфере технологий искусственного интеллекта и робототехники до 2024 года", "развитие технологий ИИ и РТ должно основываться на базовых этических нормах и предусматривать: 

— приоритет благополучия человека (цель обеспечения благополучия человека должна преобладать над иными целями разработки и применения систем ИИ и РТ); 

— запрет на причинение вреда человеку по инициативе систем ИИ и РТ (по общему правилу, следует ограничивать разработку, оборот и применение систем ИИ и РТ, способных по своей инициативе целенаправленно причинять вред человеку); 

— подконтрольность человеку (в той мере, в которой это возможно с учётом требуемой степени автономности систем ИИ и РТ и иных обстоятельств); 

— проектируемое соответствие закону, в том числе — требованиям безопасности (применение систем ИИ не должно заведомо для разработчика приводить к нарушению правовых норм)". 

В этих пунктах самое важное содержится в скобках. Это оговорки, которые фактически освобождают разработчиков систем с искусственным интеллектом от ответственности — ибо проводится в жизнь принцип, что человек в случае ущерба должен доказывать злой умысел алгоритма. 

Алгоритм — это машина, стоящая по ту сторону добра и зла. И если эти принципы получат законодательное воплощение, человек в спорах с алгоритмами всегда будет неправ. А, как мы помним, в Москве по факту действует презумпция виновности. 

Так что с 1 июля 2020 года жизнь — сначала москвичей, а потом и всех остальных граждан России — уже никогда не будет прежней. 

***

От редакции. 

С 21 мая текст программы "Умный город 2030" без объяснения причин удалён с официального сайта мэра Москвы mos.ru. Что стоит за этим: отказ от данной программы, нежелание дальнейшего роста "критической массы" отзывов, или отправка документа "на доработку" — покажет время. 

Источник - https://zavtra.ru/blogs/moskov...