Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».
Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний.
Его первое желание (для проверки — работает ли) — хочу 200 фунтов стерлингов. Стук в дверь. Там служащий завода, где работает сын. Он сообщает, что сын погиб — его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов.
Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!». Снова стук в дверь.
Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез…
Три желания выполнены точно в соответствии сформулированным требованиям.
Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы». Его суть в следующем.
Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:
- может быть непредсказуем;
- может превосходить положительный результат и обесценивать его.
Вот реальный пример «обезьяньей лапы» ИИ.
Всех поражает и все восторгаются, что ИИ не просто обыгрывает чемпионов (шахматы, го, компьютерные игры …), но делает это с применением нечеловеческих стратегий, просто не приходящих людям в голову.
Вот к чему это может вести.
Исследователи натренировали ИИ играть в компьютерную игру CoastRunners — нужно выиграть гонку на катерах, получая очки за сбитые препятствия.
Обученный играть ИИ на 20% превзошел лучший из результатов, достигнутых в этой игре людьми. Однако!
ИИ в ходе обучения ухитрился найти лазейку — немыслимую для людей стратегию, основанную на недоработке алгоритма игры (как известно, нетривиальных программ без ошибок не бывает).
Найденная ИИ стратегия заставляет катер просто плавать по кругу, сшибая одни и те же 3 препятствия.
Результат — сногсшибательно высокое число набираемых очков и выигрыш.
https://dzen.ru/a/W8Rs0eNqqACpBPYx
(см. видео)
Вы спросите, а как же задача опередить всех и добраться до финиша? А никак. Оказалось, из-за недоработки в алгоритме, можно без этого обойтись и выиграть чисто на набранных очках.
Но кто знал то про такой способ выигрыша?
Люди — не знали. А «обезьянья лапа» ИИ прознала про это в момент.
Предоставляю вам самостоятельно перенести этот кейс на любое из возможных промышленных применений ИИ, где ему ставится цель оптимизации чего-либо (потраченных денег или топлива) или достижения конечного результата (например, действия лекарства)…
Наши пожелания ИИ, несомненно, выполнит.
Но кто может предсказать последствия «эффекта обезьяньей лапы» ИИ?
И как вообще учитывать весь спектр последствий при проектировании ИИ систем?
Об этом (для продвинутых в вопросе) новое эссе от DeepMind Safety Research.
Его суть:
– как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы;
– как трудно и важно этого избежать;
– что конкретно с этим делать.
Оценили 2 человека
6 кармы