Исследование показало, что люди не смогут управлять сверхразумными машинами.

Международная группа ученых продемонстрировала, что управление сверхразумным искусственным интеллектом невозможно.

Работа опубликована в Journal of Artificial Intelligence Research. Опасность, которая может исходить от сверхразумного ИИ, как известно, в красках описана в блокбастерах о Терминаторе. Представители разных научных дисциплин, в том числе специалисты из Центра людей и машин Института развития человека Макса Планка, решили проверить, насколько человек способен управлять сверхинтеллектуальными роботами.

«Сверхразумная машина, которая управляет миром — звучит как научная фантастика. Но уже есть роботы, выполняющие определенные важные задачи независимо. При этом программисты вообще не понимают, как они этому научились. В результате возникает вопрос: может ли этот процесс в какой-то момент стать неконтролируемым и опасным для человечества?» — говорит один из авторов исследования Мануэль Себриан, руководитель группы цифровой мобилизации в Центре людей и машин Института Макса Планка.

Чтобы ответить на этот вопрос, ученые использовали моделирование и теоретические расчеты. Как выяснилось, даже если заложить в сверхразумную машину данные об этических принципах и ограничить ее связи с внешним миром (например, отключить доступ в интернет), это не спасет человечество от рисков того, что подобная система выйдет из-под контроля.

Дело в том, что, согласно теории информатики, любой из алгоритмов такого сдерживания — будь то программы об этических принципах или ограничение доступа к внешнему миру — уязвим и при определенных обстоятельствах вполне способен отключить сам себя. Поэтому специалисты делают вывод, что управлять сверхразумным ИИ человек попросту не сможет и ситуация рано или поздно может выйти из-под контроля.

«Мы утверждаем, что полное сдерживание в принципе невозможно из-за фундаментальных ограничений, присущих самому вычислению. Сверхразум будет содержать программу, которая включает в себя все программы, осуществляемые при помощи универсальной машины Тьюринга, потенциально столь же сложной, как состояние мира», — заключают исследователи.

Источник: https://naked-science.ru/artic...

P.S. В.К. Говоря простыми словами, если речь идёт не о решении чисто теоретических задач, то, при решении задачи в условиях адекватной ответной реакции, машина может столкнуться с проблемой противодействия её решениям. Тогда она будет искать обходные пути для выполнения задачи или, если алгоритм это предусматривает, уничтожение возникшего препятствия. А это уже не контролируемая ситуация.

Поскольку, машина лишена терзаний морали и нравственности, действуя в жёстком алгоритме, скажем так, законов "роботехники Айзека Азимова", она столкнётся с неразрешимой дилеммой, что, при невозможности обойти этот жёсткий алгоритм и возникшие препятствия, она просто выйдет из строя или отключится, поскольку попадает в замкнутый круг.

Простой пример.

Сейчас все наперебой стараются создать супер-пупер автомобиль, управляемый ИИ. И вот, такой автомобиль находится в свободном движении. Перед ним возникает препятствие - впереди, по бокам люди, а тормоза отказали. Каковы будут действия ИИ?

Водитель-человек будет тормозить машину двигателем, переключая передачи вплоть до поломки двигателя. А, что буде делать ИИ, ведь машина - это он сам? Просто отключится или будет крушить себя самого?