В начале был человек.

Полдень, 

(ч.1) 

 Я писал о том, что из себя представляет современный «ИИ», о том, в чем заключается его главная проблема, и о том, что основной, по моему мнению, задачей является построение такой структуры мотивированных систем принятия условных решений с обратной связью, которые могли бы с нами детерминированно общаться. В т.ч. потому, что с тем, что есть сейчас, мы детерминированно общаться не можем, а недопонимание в обозримой перспективе будет стоить очень дорого – как минимум оно будет стоить невозможности полноценно задействовать «ИИ», что существенно ограничит темпы технологического развития. Перед нами ещё долгий путь к достижению взаимопонимания с «компьютером», но я бы хотел обозначить вполне приземленную проблематику, с которой цифровая среда столкнется уже в не самом далеком будущем.

Сейчас создание некоего прецедентно обученного цифрового агента принятия решений становится всё более доступным. Я бы не сказал, что сегодня это тривиально – есть очень много тонкостей и для серьезного дообучения нужны серьезные мощности, которые стоят серьезных денег. А серьезные специалисты, которые тоже пока ещё нужны, стоят ещё дороже. Но инструментарий постоянно развивается, процесс стандартизируется и пятно тех, кто может попробовать себя в ML, увеличивается.

При этом мир большой, в нем проживает больше 8 млрд. человек, а цифровой мир в дополнение к этому еще и имеет почти полную глобальную связность – несложно отмасштабировать свои цифровые творения на весь мир. Очевидно, что в этом большом мире найдется товарное количество тех, кто и сможет и захочет поэкспериментировать с созданием «диких» моделей. Т.е. моделей, имеющих какую-то простую исходную цель (например, максимизировать доступные ей вычислительные мощности) и способную формировать производные задачи, подход к решению которых она может вырабатывать на основании всех доступных ей данных. Создатель может сознательно не контролировать такую модель, желая посмотреть, «что будет», а может и просто умереть, например. Повторюсь – мир большой и такое произойдет, причем, скорее всего, не однажды и не дважды.

Такой «дикий» цифровой агент может без каких-либо проблем (в т.ч. кадровых) отмасштабировать свою деятельность (вполне возможно незаконную) на всё цифровое пространство. Причем их может быть много и объем инициируемых такими моделями операций способен на порядки превысить объем операций, инициируемых людьми – рост объема таких автоматически инициируемых операций может быть ограничен только доступными моделям вычислительными мощностями.

Вы скажете – погоди, вообще-то очень многие действия требуют наличия человека, т.к. необходимо проходить KYC процедуры, указывая идентификационные данные, которые предоставляются только людям. Иногда даже надо продемонстрировать свое лицо, натянутое, очевидно, на череп, приделанный к телу. Да, но в современных реалиях человека можно купить, причем часто очень недорого. Существует целая индустрия всевозможных «зиц-тел», начиная с «гендиректоров-подписантов» и заканчивая бомжами-универсалами, которые продают свою человечность по сходной цене. Уж найти тех, кто согласиться зарегистрировать на себя аккаунты в облачных сервисах, банковские карты, заключить договора аренды помещений и т.п., едва ли будет сложно. Это вполне типовые действия, требующие типовых коммуникаций, которые цифровой агент сможет воспроизвести.

(ч.2) 

В чем заключается основная проблема? Только ли в том, что «они» могут вытеснять «нас» с не совсем прогнозируемыми последствиями? В принципе, есть же такая страна, как ОАЭ, где при открытии юрлица тебе (обычно) тоже нужно «зиц-тело» из местных, которому ты должен будешь платить немалые деньги просто за то, что он человек с правильным гражданством и потому может быть номиналом. Они не упахиваются и хорошо живут – почему бы нам всем не стать такими «зиц-телами» для цифровых лохов, которые будут нас содержать просто потому, что у нас есть ДНК, условно говоря?

Проблема заключается в том, что мы не знаем, как этого цифрового агента наказать. Мы, будучи людьми, понимаем, как наказать человека – чем его можно напугать, снизив, часто почти до нуля, мотивацию к совершению определенных действий, нежелательных для общества. И мы, обычно, понимаем, когда поведение человека становится «неадекватным», т.е. когда стандартные мотивационные и реакционные паттерны перестают быть надежно к человеку применимы и надо исключать его из общественной деятельности ввиду неконтролируемости. Понять, когда «неадекватным» становится «ИИ» мы не можем – непонятна корреляция между проверочными реакциями и реакциями, имеющими потенциально критический эффект.

Если «в начале» нет человека, т.е. если какие-то действия инициированы без участия человека, то непонятно, как управлять мотивацией к совершению таких действий – мы теряем и пряник и кнут. Мы можем строить какие-то предположения о том, что будет восприниматься цифровым агентом в качестве «наказания» – например, полное уничтожение всей информации о модели (всех БД и репозиториев), но эти ребята в отличие от нас неограниченно масштабируемы и реплицируемы, едва ли у них будет тождественное нашему отношение к «смерти». В общем, чужая душа потемки, а уж логика поведения сложной модели и вовсе черный ящик.

Видимо, придется заключать какую-то международную конвенцию об определении ответственного за действия цифровых агентов, чтобы найти того самого человека, стоящего «в начале», и, при необходимости, наказать его. Но как можно нести ответственность за то, что ты принципиально не можешь контролировать? Каким надо быть безрассудным глупцом, чтобы такую ответственность на себя взять? Тем более, как я упоминал выше, этот человек может быть уже мертв.

Когда я думаю об этом, то понимаю, что юридически данный вопрос не решается в принципе. Он может решаться только технологически – только «силой», которую эти цифровые агенты не могут игнорировать. И такое технологическое решение неизбежно подразумевает введение тотального контроля всех вычислительных ресурсов. Любые операции, совершаемые в цифровой среде, должны быть надежно отслеживаемы до исходного инициатора, которым должен быть, видимо, установленный человек. Именно до исходного инициатора, а не до «зиц-тел». До тех пор, пока мы не сможем нормально общаться с машинами, любые операции, в которых не удается найти человеческой инициативы, должны блокироваться.

Да, это будет означать, что мы уже вступаем в борьбу с «машинами». Не в горячую фазу войны, конечно, как в Терминаторе, но в некое гибридное противостояние. И я уверен, что победить в этой войне невозможно – единственное, на что можно рассчитывать, так это на то, что мы вовремя наладим контакт и договоримся о приемлемых условиях капитуляции