«Эффект обезьяньей лапы» искусственного интеллекта

Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».

                Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний. 

Его первое желание (для проверки — работает ли) — хочу 200 фунтов стерлингов. Стук в дверь. Там служащий завода, где работает сын. 

Он сообщает, что сын погиб — его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов. 

Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!». Снова стук в дверь. Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез…

Три желания выполнены точно в соответствии сформулированным требованиям.

Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы». Его суть в следующем.

Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:

- может быть непредсказуем;

- может превосходить положительный результат и обесценивать его.

Вот реальный пример «обезьяньей лапы» ИИ.

Всех поражает и все восторгаются, что ИИ не просто обыгрывает чемпионов (шахматы, го, компьютерные игры …), но делает это с применением нечеловеческих стратегий, просто не приходящих людям в голову.

Вот к чему это может вести.

Исследователи натренировали ИИ играть в компьютерную игру CoastRunners — нужно выиграть гонку на катерах, получая очки за сбитые препятствия. Обученный играть ИИ на 20% превзошел лучший из результатов, достигнутых в этой игре людьми. Однако!

ИИ в ходе обучения ухитрился найти лазейку — немыслимую для людей стратегию, основанную на недоработке алгоритма игры (как известно, нетривиальных программ без ошибок не бывает). 

Найденная ИИ стратегия заставляет катер просто плавать по кругу, сшибая одни и те же 3 препятствия. Результат — сногсшибательно высокое число набираемых очков и выигрыш.

https://dzen.ru/a/W8Rs0eNqqACpBPYx

(см. видео)

Вы спросите, а как же задача опередить всех и добраться до финиша?

 А никак. Оказалось, из-за недоработки в алгоритме, можно без этого обойтись и выиграть чисто на набранных очках.

Но кто знал то про такой способ выигрыша?

Люди — не знали. А «обезьянья лапа» ИИ прознала про это в момент.

Предоставляю вам самостоятельно перенести этот кейс на любое из возможных промышленных применений ИИ, где ему ставится цель оптимизации чего-либо (потраченных денег или топлива) или достижения конечного результата (например, действия лекарства)…

Наши пожелания ИИ, несомненно, выполнит.

Но кто может предсказать последствия «эффекта обезьяньей лапы» ИИ?

И как вообще учитывать весь спектр последствий при проектировании ИИ систем?

Об этом (для продвинутых в вопросе) новое эссе от DeepMind Safety Research.

Его суть:

– как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы;

– как трудно и важно этого избежать;

– что конкретно с этим делать.

https://dzen.ru/a/W8Rs0eNqqACp...