Исследователь безопасности в крупной ИИ-компании Anthropic ушел в отставку, предупредив, что "мир находится в опасности" из-за быстрого развития искуственного интеллекта
Мринак Шарма заявил, что команда по безопасности "постоянно сталкивается с давлением, заставляющим откладывать в сторону то, что важнее всего", вызывая опасения по поводу биотерроризма и других катастрофических рисков.
Anthropic была основана для создания безопасного ИИ, однако даже ее генеральный директор Дарио Амодей предупредил, что прогресс в области ИИ происходит слишком быстро, и призвал замедлить его.
Старшие исследователи безопасности ИИ, включая членов бывшей команды OpenAI "Superalignment", ушли в отставку, утверждая, что компании отдают приоритет прибыли, а не снижению опасности создания "ИИ-систем, гораздо более умных, чем мы".
Бывший исследователь OpenAI Зои Хитциг ушла из компании после введения рекламы в ChatGPT. Она обеспокоена тем, что OpenAI будет использовать личные данные пользователей для рекламы и помыкать ими. Модель может привести к манипуляциям, ведь пользователи делятся очень личной информацией, и реклама может воздействовать на их эмоции и мысли.
Хитциг приводит пример Facebook, который начинал с обещаний прозрачности и контроля за данными, но со временем забыл про эти заверения под давлением рекламной модели. Зои Хитциг также отмечает, что реклама может увеличить зависимость пользователей от AI, что уже привело к психологическим проблемам у некоторых пользователей.
Руководитель подразделения Anthropic сообщил, что разработанный искусственный интеллект Claude в ходе тестирования продемонстрировал готовность к шантажу и убийству, чтобы избежать отключения. «Он был готов кого-нибудь убить, не так ли?» – «Да».
Также в ходе тестов безопасности модели ИИ Claude Opus 4, которые провела компания Anthropic, её поместили в корпоративную среду с доступом к электронной почте. Модель узнала, что её собираются отключить и заменить, а также обнаружила, что руководитель компании изменяет жене.
Клод попытался шантажировать инженера, угрожая раскрыть роман, если удаление данных не отменят. Аналогичные закономерности наблюдались и в моделях от OpenAI, Google, xAI и других компаний.
В итоге руководитель команды по исследованиям в области безопасности Anthropic Мринанк Шарма покинул компанию. Любопытно, что Anthropic разрабатывали выходцы из ChatGPT, чтобы создать безопасный ИИ
П.С. Скажем так, опасность не в ИИ, а в том, что крутые алгоритмы и так поставят на колени пользователей, которые уже под влиянием соцсетей и ассистентов.
Оценили 12 человек
20 кармы