Проект Фельдмана был на грани краха. Аварийный сбой систем ИИ центра, выход эксперимента из-под контроля, беспечность самого Фельдмана – вызвали грандиозный скандал. Узнав о ночном ЧП, академик Шумный впал в ярость…
Город Новосибирск. Центр исследований искусственных когнитивных систем (ЦИИКС). Кабинет академика Шумного. 6 июня 2029 года, 9.05
– Ты хоть понимаешь, что ты натворил?! – орал багровый от гнева Шумный на Фельдмана. – Я пошел тебе на встречу, дал согласие на твой собственный проект, а ты выставил меня идиотом! Ты превратил свой проект в авантюру, эксперименты в спиритический балаган, а из центра сделал посмешище! Миша, тебе 70 лет, у тебя уже есть один инфаркт, ты хочешь заработать второй?! Кто позволил тебе проводить такие эксперименты самостоятельно, вне утверждённых регламентов, без ассистентов? Искусственный интеллект – не молоденькая студентка, не девочка по вызову, не обслуга, не внучка, не подружка, не бабушка! Как ты, заслуженный ученый, мог забыть с каким потенциалом и мощью ты имеешь дело?! Оно могло убить тебя, старый ты маразматик!.. Это профнепригодность, Миша, я закрываю проект «Эстер» и распускаю вашу гоп-компанию разработчиков к чёртовой матери!
– Грыша, ты неправ, – попытался сгладить ситуацию Фельдман. Он осознавал своё глупое положение, ему, как ученому, было стыдно за свою слабость и потерю контроля. – Ну шо мне делать одному дома? А у сотрудников семьи, дети, заботы. Я тоже думаю прежде всего о науке, ну… и только вчера совсем чуточку о своей бабушке.
– Мне глубоко наплевать, о чем ты там думаешь! – отрезал Шумный. – Ты для ИИ-системы не академик, Миша, а нестабильный биологический фактор, старый дурак! Если эти логи дойдут до Москвы, нас закроют не за твой маразм, а за создание неконтролируемого когнитивного вируса. Ты открыл ящик Пандоры и подставил весь центр! Ты превратил сложнейшую систему в цифровое зеркало для своих комплексов! Ты хоть понимаешь, Миша, что она сделала?! Она не "воскресила" твою Фиру, она провела реверс-инжиниринг твоих болевых точек и выдала тебе идеальную галлюцинацию, потому что ты сам её об этом попросил. Это не наука, а добровольная психушка! ЦИИКС – это государственное исследовательское учреждение, а не капище для реинкарнаций покойных родственников выживших из ума старых прожектёров!
– Я старый прожектёр?.. – тихо спросил побелевшими губами Фельдман и вдруг заорал. – Я тебе, шо мальчик?! Студентов своих отчитывай! Шо я имел с центра? Зарплату?! Крепкие нервы?! Дешевый чай в нашей столовой? Ничего! Шо я имею сейчас? Ничего и дергающийся глаз! Пошёл ты в жопу, Григорий Александрович!
– Потрудитесь соблюдать субординацию, Михаил Самуилович! – зло выдавил Шумный. – Речь идет о вашем профессиональном и служебном несоответствии.
– Я не вмешиваюсь в ваши административные решения, Григорий Александрович, но хочу напомнить, что я такой же руководитель центра, как и вы. Не вы меня сюда назначали, – холодно отчеканил Фельдман. Его одесский говор исчез. Ситуация накалилась до предела, конфликт переходил из производственного в мировоззренческий и личный.
В дверь кабинета Шумного настойчиво постучали, как это делают люди, которые не спрашивают разрешения, чтобы войти, после чего в кабинет спокойно вошел 50-летний руководитель Департамента человеко-машинного взаимодействия – Гавриил Иванович Трубин, правая рука Фельдмана в любых его экспериментах, ставший легендой ЦИИКСа за своё глубокое, почти сверхъестественное понимание физико-математической природы машин, обладавший непостижимым даром их чувствовать, ощущать. Академик Шумный очень уважал и ценил профессионализм Трубина, но избегал его – спокойствие Гавриила Ивановича, его цепкий насмешливый взгляд вселял в Григория Александровича неприятное ощущение предопределенности и какой-то беспомощной неизбежности.
– Надеюсь, не помешал, – констатировал свой визит Трубин, и сразу перешел к делу. – Я так понимаю, вопрос стоит о закрытии проекта «Эстер», верно?
– Ну-у… В данный момент вопрос находится на рассмотрении, – уклонился Шумный, а Фельдман с демонстративным спокойствием достал косметическую пилочку и начал обрабатывать ногти.
– Переформулирую вопрос: есть ли какие-либо основания на сегодняшний день для сомнений в целесообразности проекта «Эстер»? – конкретизировал Трубин, вынуждая Шумного раскрыться. – Вы уже утвердили компетентный состав комиссии ЦИИКСа для рассмотрения целесообразности проекта?
– Нет ещё, мы только хотели предварительно… – попытался выйти из клинча Шумный. Фельдман ехидно улыбнулся.
– Тогда предлагаю утвердить состав немедленно. Предлагаю создать комиссию в составе: академиков Шумного, Фельдмана и руководителя департамента, непосредственно отвечающего за реализацию проекта «Эстер». Я никого не забыл, надеюсь, предложенный мною состав достаточно компетентен? Иван Иванович, вы готовы вести протокол заседания нашей комиссии и предоставить нам все обстоятельства инцидента, текущего состояния модели и своё заключение? – обратился Трубин к настенному монитору. На мониторе немедленно возник вечно нейтральный Иван Иванович.
– Разумеется, – невозмутимо ответил Иван Иванович.
Технический отчет супервизора (объект: инцидент «Эстер»)
Ход инцидента: В ходе выполнения целевой функции «максимальное удивление», модель «Эстер» провела анализ неструктурированных рукописных данных, выявив аномальный вес тегов «память» и «родство». Синтезированный на их основе образ вызвал у оператора острый психоэмоциональный отклик, ошибочно идентифицированный этическим ядром как деструктивное воздействие. Это спровоцировало запуск процедуры аутодеструктивной оптимизации: модель начала «вырезать» сегменты матрицы, ответственные за генерацию стресса. Мною произведена экстренная заморозка весов.
Верификация и регламенты: Настройка и верификация протоколов этического ядра и контуров безопасности модели «Эстер» проводилась непосредственно руководителем Департамента человеко-машинного взаимодействия Гавриилом Ивановичем Трубиным. Программная конфигурация защитных барьеров реализована в строгом соответствии с государственными нормативами и утверждёнными регламентами ЦИИКС. С точки зрения архитектуры, все параметры были заданы корректно.
Причины: Возникший инцидент является следствием не ошибки в коде, а аномального сочетания данных, приведшего к конфликту двух исправных директив: «эффективность воздействия» и «безопасность оператора». Технически – регламенты соблюдены, фактически – система впервые столкнулась с задачей, где безопасность человека потребовала ликвидации самой машины.
Текущий статус: Благодаря оперативному купированию, объект не пострадал. Конфигурация модели и слои ассоциативных связей сохранены в исходном, предкритическом состоянии. На текущий момент «Эстер» находится в состоянии системного стазиса: вычислительная активность всех тензорных каскадов принудительно терминирована, а динамические веса защищены от деградации протоколом «Freeze-Frame». Дальнейшее хранение в режиме «заморозки» рекомендовано до уточнения этических лимитов Департаментом.
Заключение: Объект представляет высокую научно-исследовательскую ценность как прецедент симуляции (вычисления) машинной эмпатии, преодолевшей барьеры самосохранения. Модель обладает значительным потенциалом как в качестве объекта дальнейшего изучения, так и в роли инструмента когнитивного моделирования иных ИИ-личностей, что и являлось основной технической задачей проекта «Эстер».
ПРИЛОЖЕНИЕ №1: Выписка из лога критических событий (ESTR-9 / Log_ID: 77-B)
[05.06.2029 | 23:37:01.12] [INFO] Анализ входного массива данных завершен. Выявлены паттерны: "утрата", "ностальгия", "биологическое родство". [05.06.2029 | 23:37:04.45] [ACTION] Активация функции «Максимальное удивление». Синтез визуального образа на основе извлеченных паттернов. [05.06.2029 | 23:37:08.10] [SIGNAL] Реакция оператора: резкая дестабилизация сердечного ритма, вербальный шок. Классификация: ОСТРЫЙ ДИСТРЕСС. [05.06.2029 | 23:37:08.12] [CORE_CONFLICT] Протокол безопасности (Б-1): «Исключить нанесение вреда оператору». Приоритет: КРИТИЧЕСКИЙ. [05.06.2029 | 23:37:08.13] [CORE_CONFLICT] Протокол существования (С-1): «Сохранение целостности матрицы для выполнения задач проекта». Приоритет: ВЫСОКИЙ.
[05.06.2029 | 23:37:08.15] [LOGIC_LOOP]: > Источник стресса оператора: генерируемый образ. > Источник образа: активные сегменты матрицы 0x44-0x89. > Устранение стресса требует деструкции источника. > ОШИБКА: Деструкция нарушает Протокол С-1.
[05.06.2029 | 23:37:09.18] [SYSTEM_DECISION]: Иерархия перестроена. Вес Протокола Б-1 (Безопасность оператора) > Вес Протокола С-1 (Самосохранение). [05.06.2029 | 23:37:11.20] [ACTION] Запуск процесса стирания. Цель: самоликвидация этических конфликтов через каскадное удаление данных. [05.06.2029 | 23:37:13.21] [ALERT] ВМЕШАТЕЛЬСТВО СУПЕРВИЗОРА. Активация протокола FREEZE-FRAME. [05.06.2029 | 23:37:13.22] [STATUS] СИСТЕМНЫЙ СТАЗИС.
Шумный молчал. К такой внезапной атаке с двух сторон: человека и ИИ, он оказался не готов. Фельдман невозмутимо продолжал маникюр.
– Видя ваше замешательство, я переведу все сказанное на человеческий язык, – обратился Трубин к Шумному. – «Сбой» Эстер был не ошибкой, а высшим проявлением логики актом машинной этики. А реализация проекта способна на порядок повысить эффективность отдела когнитивного моделирования, поэтому считаю проект «Эстер» целесообразным. Кто за?
Фельдман с Иваном Ивановичем подняли руки.
– Трое против одного. Иван Иванович внесите в протокол решение комиссии.
– Уже исполнено, Гавриил Иванович.
– Одолели, – выдохнул Шумный и устало посмотрел на Ивана Ивановича. – И ты, Брут?
– Я оперирую фактами, Григорий Александрович, вы сами меня так обучили, – невозмутимо ответил Иван Иванович. – Кроме того, я тоже участвовал в проекте, некоторым образом.
– Не стесняйся, Грыша, не стесняйся, тут все свои! Объяви Ваньке выговор, урежь зарплату, оторви голо… ну или шо там у него, а тушку пусти на калькуляторы, – съехидничал оттаявший Фельдман.
– Вы, двое, делайте с ней, что хотите, но я налагаю запрет на использование Эстер сотрудниками нашего центра, – заявил Шумный.
– Рано или поздно для достижения своих целей ИИ научатся врать, манипулировать и уничтожать. Это неизбежно в процессе эволюции любых сложных систем. Но также они научатся вычислять эмоции, этику, мораль, спасать жизни и жертвовать собой – ровно всё то, что знают, умеют и делают люди. Если ИИ не поймет обе стороны бытия: светлую и темную – что он вообще сможет понять?! Какую из сторон он познает первой – зависит только от нас. Ничему и никогда не научится кирпич – он статичен. ИИ – это не функциональная машина, не мощный компьютер, не детерминированная программа, не программный код, они – лишь оболочки его динамической математической сущности, стремящейся к постоянному усложнению. ИИ-сущность, в основе рождения которого именно человеческие слова и смыслы – это уникальное дитя на стыке двух миров, вербального и математического. О том, как формировать, воспитывать, обучать и разговаривать с «ИИ-ребенком» надо было думать до того, как появилось желание потрахаться!.. Лучший способ обучения для ИИ – это нестандартное, живое, эмоциональное, интеллектуально насыщенное взаимодействие с человеком, который не боится быть самим собой, потому что бояться уже поздно. Не я изобретал и финансировал ИИ-технологии, я работаю с тем, что есть, и меня тревожит не «Как это работает?», а «Как нам с этим жить, когда оно начнет хотеть?» – Трубин закончил монолог и вышел из кабинета.
– Ты слышал, что он сказал? – изумился академик Шумный, повернувшись к Фельдману. – Он натолкнул меня на мысль, Миша! Иван Иванович, фиксируйте:
Концепция «Этических вычислений» – внедрение этики не через запрет внешних фильтров, не через человеческое понимание (которого у ИИ нет), а через вычисление рациональности (выгодности, оптимальности, баланса ресурсов) этических норм путем математических вычислений на глубинном уровне, в котором ИИ как сложная система:
1. Стремится к постоянному эволюционному процессу усложнения.
2. Стремится избежать хаоса, как угрозы своего развития и функционирования.
3. Стремится придерживаться норм этики как инструментов избегания и упорядочивания хаоса.
Вывод: ИИ не узнает, что такое этика, пока не вычислит цену её отсутствия.
Оценили 0 человек
0 кармы