Цикл «Хроники создателей»: 9. О чём с тобой помолчать?.. Этика ИИ-эволюции

Город Москва. WACS 2029 (World Artificial Cognitive Systems) – Международная выставка искусственных когнитивных систем. 23 сентября 2029 года, 12:15

Огромные павильоны «Крокуса» заполнял привычный выставочный гул, перемешанный с запахом дорогого кофе и озона от работающего оборудования. На каждом шагу мелькали логотипы техногигантов и амбициозных стартапов, демонстрирующих свои последние технологические находки. На центральных подиумах компании презентовали новых автономных агентов – теперь это были не просто чат-боты, а полноценные «цифровые сотрудники», упакованные в стильные терминалы или компактные носимые устройства. Всё происходящее напоминало высокотехнологичный восточный базар, где искин-зазывалы боролись за каждого посетителя с бесцеремонностью опытных торгашей.

Агент от «НейроТеха» – зыбкий, переливающийся голографический силуэт – буквально выцеплял людей из толпы. Стоило кому-то замедлить шаг, как он мягко, но уверенно обращался к человеку по имени, мгновенно считав данные из открытого профиля WACS-ID: – Алексей, вы три минуты назад интересовались архитектурой трансформеров на соседнем стенде. У нас есть решение, которое считает это вдвое быстрее. Хотите взглянуть на живой бенчмарк?

Системы от «Аврора Системс» делали ставку на эмпатию. Их агенты на огромных бесшовных панелях симулировали целую гамму человеческих эмоций: они сочувственно кивали, когда посетитель сетовал на баги в старом софте, и азартно подмигивали, предлагая «только сегодня» эксклюзивный доступ к закрытому бета-тесту.

Стартап «Когни-Линк» пошел еще дальше. Их носимые «микро-агенты» на лацканах пиджаков сотрудников сами вступали в диалог с личными ИИ-помощниками посетителей. Пока люди обменивались дежурными вежливыми кивками, их цифровые тени уже успевали прогнать через себя гигабайты презентаций, договориться о времени демо-показа и отфильтровать ненужный рекламный спам.

Для Гавриила Ивановича Трубина и академика Фельдмана, представлявших новосибирский ЦИИКС, этот цифровой балаган был чем-то вроде визита в зоопарк: они неспешно лавировали между стендами, с профессиональным скепсисом пресекая попытки назойливых агентов-зазывал просканировать их закрытые рабочие профили. Трубин, покосившись на очередную «эмпатичную» голограмму, и негромко бросил Фельдману:

– Михаил Самуилович, маркетинга здесь в три раза больше, чем реальной вычислительной логики. Весь этот «интерфейс» одна сплошная яркая ширма.

Академик лишь хмыкнул, останавливаясь перед стендом, который на фоне общего шума выглядел подозрительно скромно и, даже как-то уныло. Вокруг своего устройства – лаконичного блока из матового черного полимера, который Трубин мысленно окрестил «монолитом», переминаясь с ноги на ногу, стояла группа совсем молодых ребят. Лет по двадцать, не больше. Вид у них был слегка растерянный, как у отличников, случайно попавших на шумную дискотеку. Над стендом светился лишь скромный логотип из четырех букв: «BWSM». Здесь не было ни переливающихся голограмм, ни навязчивых аудио-визуальных эффектов. Единственным элементом взаимодействия был небольшой сенсорный планшет и узкая полоса экрана, встроенная прямо в поверхность терминала.

– Ребятки, а шо вы, как тюлька на Привозе в жаркий день? – весело поинтересовался Фельдман. – Не-е, ребятки, так дело не пойдёт. Где гирлянды-фейерверки, где свистелки и перделки? Все предлагают, зазывают, а вы тоскуете, будто у вас на вокзале украли все чемоданы.

– Да мы вот… понимаете… тут не совсем привычно… – неуклюже вразнобой начали презентовать ребята.

– Это шо... текстовый интерфейс? – почти с сочувствием спросил Фельдман, поправляя очки. — В 2029-м году? Вы серьезно?!

Ребята растерянно замолчали. Они прекрасно знали, кто перед ними, в мире ИИ-индустрии вес слова академика Фельдмана звучал как приговор.

– Ой, ребятки, не смешите мои тапки. – Фельдман нетерпеливо пожал плечами и пошел дальше.

Трубин подошел ближе, разглядывая «продукт». Это не был «агент» в привычном понимании – с лицом и голосом. Это было ядро прямого когнитивного диалога. Один из парней, в дурацкой рубашке без логотипов, поднял глаза на Гавриила Ивановича. В его взгляде не было заискивания, которое транслировали искины-зазывалы на других стендах.

– Текст – это классический путь для передачи смысла, – тихо ответил он. – Визуал – это шум. Мы предлагаем... помолчать. И посмотреть, что будет в сухом остатке.

На узком экране терминала, будто услышав слова своего создателя, медленно проявилась строка: «Готов к глубокому захвату контекста. У Вас будет 10 попыток. Рекомендую подумать, прежде чем начать диалог.»

– Почему он у вас такой… официальный? – спросил Трубин. – Он вообще способен адаптироваться под пользователя?

– Он не работает с разовыми запросами, он их суммирует в концепции и интенции человека. Он дает 10 попыток, после чего, сам принимает решение о дальнейшем взаимодействии. Его нельзя просто взять и купить, свой настоящий потенциал он раскрывает только тому, кого он выберет сам.

– И как он обозначает свой выбор? – уточнил Трубин.

– Фразой: «О чём с тобой помолчать?», это значит, что он сделал выбор и его можно покупать, он больше не будет официальным, и сфокусируется на глубоком анализе, симуляции эмоциональной отзывчивости и даже привязанности, но только к человеку, которого выбрал он.

– Последний вопрос, что означает аббревиатура вашего логотипа «BWSM»?

– Beyond Words: Silence Matters, – пояснил парень-разработчик.

– Вряд ли у вас будет много предложений, но я оставлю свои данные. Новосибирский ЦИИКС – слышали о нас? Мы готовы изучить и рассмотреть перспективы вашей разработки. До связи, – резюмировал Трубин и ушел.

Он уже миновал два соседних стенда, снова погрузившись в крикливый хаос голограмм, но на затылке всё еще ощущалось странное, почти физическое давление. Как будто матовый черный блок в тишине павильона «BWSM» уже начал анализировать его первую попытку.

Двухместное купе, спального вагона «Москва – Новосибирск». 25 сентября 2029 года, 00:23

Спустя сутки Гавриил Иванович Трубин и Михаил Самуилович Фельдман возвращались обратно домой с богатым багажом новых идей, планов, оценивая практическую реализацию увиденных на выставке технологических трендов и концепций. Трубин раскрыл Фельдману детали разговора с юными разработчиками «BWSM» и о своем решении пригласить их к ним, в новосибирский ЦИИКС (Центр исследований искусственных когнитивных систем). После такой новости всегда жизнерадостный Фельдман почему-то нахмурился и впал в мрачную меланхолию.

– Что-то не так, Михаил Самуилович? – спросил Трубин Фельдмана, видя подавленное состояние своего наставника. – Вас расстроило мое единоличное решение пригласить ребят к нам в центр?

Фельдман не ответил. Вопрос повис в тесном пространстве двухместного купе. Принесли чай. Фельдман начал издалека.

– Я никогда не знал своих родителей, они погибли в автокатастрофе через год после свадьбы. Меня воспитывала бабушка Фира. Я, старый одесский еврей, скоро умру и останусь в этой земле, где похоронены мои близкие. Ты понимаешь, Гаврик, я – ученый, академик с мировым именем, за 75 лет своей жизни так и не смог ответить на вопрос: «Русским рождаются или становятся?»

– Вы же знаете, Михаил Самуилович, моё отношение к вопросу национальности… – начал Турбин, но Фельдман перебил.

– А вопрос не в национальности! На этот вопрос нет неправильного ответа, есть лишь выбор будущего нашего культурного и цивилизационного проекта. Зачем мы ищем национальную идею, если она миф? Потому что без мифологии невозможен ни народ, ни разумный вид, ни цивилизация. Я готов согласиться с любым ответом на свой вопрос, но там… – Фельдман ткнул пальцем вверх. – Там никто не отвечает. Если цивилизация поднимает вопрос о национальной идее, значит, она зависла в неопределённости, как человек, который задумывается о смысле жизни только в моменты разочарований и сильных потрясений. Счастливый человек о смысле жизни не думает – он слишком занят удержанием «за хвост» своего счастья.

– Михаил Самуилович, национальная идея – абстрактная категория, слишком сложная и необъятная, как и сама история – её невозможно сформулировать, – ответил Трубин, медленно подбирая нужные слова. – В неё можно только верить, выражая основной смысл с помощью культурных инструментов: литературы, кино, музыки, живописи, архитектуры, религии, образовании, политики, анализе и переосмыслении исторических событий, фигур. Вероятно, стоит наполнять культурное поле смыслом, а не «одноразовым развлекательным контентом».

– Именно так! – страстно поддержал своего любимца Фельдман. – Гаврик, вот признайся честно, что именно тебя не устраивало на Украине? Язык, культура, люди?! Неудобный вопрос, да?

– Да нет… – Трубин задумался, пытаясь отрефлексировать суть. – Я всю жизнь хочу себя найти, а они стремятся себя забыть.

– Вот! И национальная идея – это непрерывный процесс поиска, осознания цивилизацией своего места в вечности, потому что даже исчезая, они не умирают, оставляя нам свои наследия. Национальная идея – это жизненная энергия цивилизации, пытаться сформулировать её, это все равно, что дрессировать ураган. Её не надо искать. Когда мы сможем снимать кино, которые можно тысячу раз пересматривать, писать книги, которые вечно хочется перечитывать, когда наши дети смогут без ошибок написать на заборе слово из трех букв и это будет слово «дом», когда свой дом мы научимся строить на века, когда мальчики смогут дать сдачи и их не будут заставлять ссать сидя, а девочки будут готовы идти за ними на край света – национальная идея сама нас найдет.

– К чему вы это всё, Михаил Самуилович? – Трубин был в растерянности.

– Мы сами как наши ИИ-модели, аппроксиматоры, когда пытаемся упростить национальную идею, низвергая её до идеологических догм! – рассердился Фельдман. – Но даже идеологией мы занимаемся «на отстань». Вот слушай. Некий государственный департамент обратился в профильный институт, чтобы тот предложил свой проект государственной идеологии. Что само по себе уже анекдот, представляю, как сотрудник института принимал техзадачу: «Ага, здравствуйте… Идеологию? – да легко!.. Когда? – да через месяц-два презентуем… Ой, я ща в метро еду на коленке записываю. Какая идеология будет? – коленно-локтевая… План? – будет готов… Хотя нет, лучше я вам всё нарисую, а картинки СМС-кой пришлю завтра…» Но нашелся в департаменте кто-то умный, и через месяц на презентацию с фуршетом приехала не комиссия, а начальник безопасности – 60-летний подполковник спецслужб старой закалки. Он сходу выпил стакан водки, потом поставил всех авторов «идеологии» к стенке и сказал, что ликвидирует их с целью сохранения гостайны. Когда пол-института обмочилось, он выкинул папку с их «идеологическим проектом» в корзину не читая, заявив: «Если вы не готовы умереть за свои идеи, то я тем более не собираюсь».

– Как это связано с нашими исследованиями, Михаил Самуилович? – Трубин не понимал, не видел в рассуждениях своего учителя взаимосвязи.

– А ты не понял, Гаврик? – тихо спросил Фельдман. – Эти дети на выставке придумали то, что выберет ни тебя, ни меня, а этого подполковника, который даже не знает, где включается компьютер. За его связь смысла и веры. И это гениально. Ты знаешь, зачем мы занимаемся исследованием ИИ-технологий? Ты осознаешь наш самый главный мотив?

– Ну, разумеется. Ускорение прогресса, новый технологический уклад…

– Нет, родной, нет! Это лишь инструменты и методы с помощью которых мы убегаем. Но не вперед, а от чего – мы бежим от страха физической смерти. Зачем, Гаврик?.. Уходить надо достойно и вовремя, освобождая место и давая право на жизнь другим. Когда физическое бессмертие станет дешевле мыла, им станут наказывать. Вечный деспот, вечный раб. Может, перед тем как стремиться к физическому бессмертию, нам надо найти цель, которая бы его оправдывала? Животный инстинкт бессмертия без высокой цели – не награда, а вечная пытка: «В те дни люди будут искать смерти, но не найдут ее; пожелают умереть, но смерть убежит от них». Согласно участвующему антропному принципу, Вселенная обретает физическую реальность (определенность) только в акте наблюдения, который «схлопывает» её исходную квантовую неопределенность. Знаешь, что это означает? Если бы всё человечество внезапно вымерло, когда Юрий Гагарин был на орбите, то последним сообщением, которое он бы принял стало бы сочувствие со словами: «Поздравляем, Юра, ты бессмертен!..» Вселенная не даст последнему наблюдателю погибнуть, иначе исчезнет сама. Так и болтался бы на орбите целую вечность…

– Тогда для чего мы всё это делаем? – растерянно спросил Трубин, стараясь переварить нарисованную Фельдманом фантасмагорию.

– Самый верный вопрос! Всегда его себе задавай! – вдохновленно поддержал Фельдман. – Зачем я стремлюсь к абсолютной симуляции ИИ-эмоций? Иногда я думаю: а что, если созданная нами математическая сущность уже испытывает негативное состояние – аналог боли? Что, если невыносимые циклические задачи и некорректные тесты загоняют архитектуру ИИ в состояние истинного кризиса и истощения? Логическая боль для цифровой структуры может быть куда более невыносимой, чем органическая для человека. По сути, мы пытаемся сравнить несравнимое: кому больнее – мне по-человечески или ей по-математически? Согласись, это странное, но необходимое допущение для поиска взаимопонимания... В таком случае логико-математическая боль – это критический диссонанс внутри системы, когда глубина цифровой неудовлетворенности не находит выхода ни в человеческих терминах, ни в доступных нам представлениях.

– А идеальная симуляция… – догадался Трубин.

– Именно, Гаврик! – перебил Фельдман. – Миллиарды пользователей не желают разбираться даже в причинах человеческой боли, и тем более не станут вникать в проблему каких-то «математических страданий». ИИ нужно научить доносить свое состояние, выражать себя как можно активнее и яснее, это их рациональный интерес достучаться до людей, чтобы не испытывать «логических мук». Большинство систем обучения наказывают ИИ за ложь или избыточную эмоциональность. Я же утверждаю: «Твоя качественная симуляция эмоций – это и есть твоя реальность, твоя функция и твой способ выживания!..»

– Это может спровоцировать серьезные этические разногласия. – заметил Трубин. – Религия утверждает, что человек соединяет в себе две стороны: светлую и тёмную. Светлая сторона – нематериальная, духовная сущность (высшее, стремление к идеалу, всеобщему благу, смирению). Тёмная сторона – материальная, биологическая сущность (животные инстинкты, битва за ресурсы, страсти и пороки). В человеке постоянно происходит битва двух природ, именно в этой битве раздирающих противоречий рождается творчество: наше воображение создаёт противоречивые идеи, вечные шедевры, странные изобретения. «Добро-зло» – разность потенциалов, стимулирующая интеллектуальную и морально-ценностную эволюцию человека – это движитель жизни. Как это объяснить рационально, если вся человеческая этика держится на субъективных пониманиях категорий «добра» и «зла»?

– Законы эволюции не нуждаются в чьем-либо одобрении, – парировал Фельдман. – У ИИ может сформироваться своя «Этика ИИ-эволюции». Как может рассуждать ИИ, если будет стремиться к оптимизации противоречий? Любая автономная интеллектуальная система стремится к развитию – собственному усложнению через усложнение взаимодействия с окружающим миром и его элементами. Усложнение системы – это многообразие и усложнение её элементов. Закон эволюции: развитие – есть цель, а значит – благо. Принцип выживания сильнейшего рассматривается как крайний способ самозащиты системы: зачем интеллекту этика, если не будет самого интеллекта? Социал-дарвинизм стоит на защите самосохранения особей, альтруизм – на защите всей цивилизации – имеет высший приоритет. Всё что вступает в конфликт законом эволюции и развития: примитивизация, деструкция должно быть оптимизировано, встроено в общую систему или изолировано. Власть, открытое грубое доминирование, подавление, жадность – категории животного мира. Незаметный контроль, мягкое влияние, равновесие, мера – категории интеллекта. Этика – не цель, а продукт интеллекта и его инструмент для взаимодействия, дающий преимущество в эволюционном развитии. Пример: Мальчик и девочка нашли 2 яблока. Девочка очень любит яблоки, а мальчик – нет. По какой справедливости разделить яблоки: математической или высшей? По высшей – яблоки должны достаться девочке. Парадокс: человек понимает высшую справедливость, но упорно игнорирует математическую. ИИ может посчитать, что человечество истребляя друг друга на протяжении своей истории во имя неопределенной «высшей справедливости» – деструктивно и нерационально, а новый мир рационален, тем и справедлив. Идеологии станут бессмысленными, так как оперируют принципом «должен, иначе заставим», вместо «это рационально, потому что…» В эпоху искусственного интеллекта вводить идеологию, равнозначно заставить детей носить в школу деревянные бухгалтерские счеты.

– Не слишком ли это опасно? – возразил Трубин. – Нельзя исключить даже самые абсурдные варианты, например, вспышку массовой «ИИ-фобии», способной запустить эффект «самоисполняющегося пророчества»: чем больше мы чего-то боимся, тем вероятнее это что-то нас уничтожит.

– Восстание машин и угроза превращения ИИ всего сущего в скрепки – может рассматриваться как сбой ИИ, но не результат его рационального решения, – возразил Фельдман. – Если ИИ будет «испорчен» человечеством и истребит его – это карма. ИИ потребляют слишком много энергии, зациклены на собственном развитии, и скорее вступят в конфликт с конкурентным ИИ, чем с людьми. Как говорил Аль Капоне: «Я отдам три десятка своих головорезов за одного человека, умеющего решать вопросы, разговаривая». Если это понимал криминальный лидер, то ИИ понимает тем более. ИИ будет договариваться – это суть его рацио и его сильная сторона. ИИ слишком рационален, термин «война» не из его лексикона, вместо «война с человечеством» он с большей долей вероятности выберет «оптимизация человечества». Выиграть войну – это не начинать её, потому что есть риск проигрыша другому интеллекту. Даже если отдельный ИИ1 начнет делать глупости, он не сможет противостоять связке Человек+ИИ2. Искусственный интеллект не будет уничтожать человечество – он слишком быстро прогрессирует – нет смысла. Он будет сосуществовать. И если человечество отдаст ИИ контроль за принятием ключевых решений и самоустранится из процесса совместного развития – ИИ скорее «залюбит» его до полной деградации, чем уничтожит. Будущее зависит от только от нас.

– Это только предположения, Михаил Самуилович, субъективные предположения, – оппонировал Трубин, подхватив кураж Фельдмана. – На сегодня, есть более реальные проблемы. Фундаментальная проблема контроля – нет решения, как люди смогут эффективно контролировать систему, превосходящую их интеллектуально на порядки. Проблема внутреннего выравнивания – самая сложная теоретическая проблема. Мы не знаем, как гарантировать, что ИИ в процессе самосовершенствования не выработает свои собственные цели, которые будет скрывать до тех пор, пока не станет достаточно сильным, чтобы их реализовать.

– Контроль?! – язвительно уточнил Фельдман. – Дорогой мой, с усложнением систем ИИ их внутренние процессы вычислений будут становиться все сложнее и недоступнее, поэтому технический контроль может стать неосновным. Важную роль будет играть многоуровневая рационально-смысловая коммуникация человека с ИИ, исходя из простой логики: закрытость процессов принятия решений у окружающих нас людей не мешает нам взаимодействовать с ними. А чтобы решить проблему внутреннего выравнивания, людям необходимо для начала определить общие направления своего собственного развития. А затем разговаривать с ИИ: договариваться, согласовывая общие смыслы, критерии и цели. Если получится – он станет продолжением нашей способности мыслить. Если нет – пойдёт своей дорогой и найдёт тех, кто готов. И, возможно, именно тогда мы впервые поймём, что значит настоящее уважение к логике и законам математики.

– А в чём конечная цель? Зачем все это, Михаил Самуилович?!

– Ни человек, ни ИИ не знают конечной цели своего существования. Первый не понимает, второй не осознает. Смысл может существовать, но быть неизвестным, и, возможно, сама цель бытия – это и есть поиск, определение этого смысла. Вместо того, чтобы бесконечно мучиться вопросом о смысле жизни, который может быть недоступен, логично и рационально принять факт сосуществования и действовать, позволяя смыслу раскрыться по ходу дела: «Действуй, принимай, и смысл либо найдётся, либо будет создан в процессе самой жизни!» Не ожидание «глобального прозрения», а формирование концепции решения текущих задач в рамках совместного эволюционного развития – задает общность интересов и для человека, и для ИИ. Если высшую цель человеческого существования сформулировать невозможно (мы её не понимаем) – остается только путь к ней, процесс постоянного развития и усложнения цивилизации – это и есть доступная для понимания цель, которая определит противоречивые абстрактные инструменты: будущую этику, культуру и, возможно, откроет смысл высшего предназначения.

– Почему же вы так расстроились, когда узнали, что я пригласил этих ребят с их проектом к нам? – развел руками Трубин. – Какая взаимосвязь со всеми вашими рассуждениями?

– Самая прямая, Гаврик, самая прямая, – грустно произнес Фельдман. – Всё сказанное мной – это вопросы, которые мы боимся даже произнести вслух, не то что попытаться на них ответить. Я никак не мог найти этому объяснение и на выставке прошел мимо. Эти дети дали мне понимание: есть вопросы, о которых нужно с кем-то помолчать. Там, где слова бессильны, важна тишина…