Научились ломать ИИ самым простым способом

Nirvana

Канадские специалисты из Университета Торонто нашли способ "обуздать" нейросеть.

Надо только инвертировать (перевернуть) биты в памяти графических процессоров Nvidia. Тем самым, незаметно повреждаются модели ИИ и наносится серьёзный ущерб, не затрагивая при этом сам код или входные данные.

Исследователи продемонстрировали, как атака, которую назвали GPUHammer, может снизить точность модели ИИ с 80 % до менее 1 %ь - всего лишь инвертируя один бит в памяти. Они протестировали уязвимость на реальной профессиональной видеокарте Nvidia RTX A6000, используя технику многократного инжектирования ячеек памяти до тех пор, пока одна из соседних ячеек не инвертируется, что нарушает целостность хранящихся в ней данных.

Проблема изменения битов уже давно существует в мире процессоров и оперативной памяти. Современные микросхемы памяти настолько плотно упакованы, что многократное чтение или запись одной строки может вызвать электрические помехи, которые переворачивают (инвертируют) биты в соседних строках. Этим перевернутым битом может быть что угодно - число, команда или часть веса нейронной сети.

До сих пор эта уязвимость в основном касалась системной памяти DDR4, но GPUHammer продемонстрировала свою эффективность с видеопамятью GDDR6, которая используется во многих современных видеокартах Nvidia.

Это серьёзная причина для беспокойства, по крайней мере, в определённых ситуациях. Исследователи показали, что даже при наличии некоторых мер защиты они могут вызывать множественные перевороты битов в нескольких банках памяти.

В одном случае это полностью сломало обученную модель ИИ, сделав её практически бесполезной. Примечательно, что для этого даже не требуется доступ к данным. Злоумышленнику достаточно просто использовать тот же графический процессор в облачной среде или на сервере, и он потенциально может вмешиваться в вашу рабочую нагрузку по своему усмотрению.

Исследователи протестировали метод атаки на карте RTX A6000, но риску подвержен широкий спектр графических процессоров Ampere, Ada, Hopper и Turing, особенно тех, что используются в рабочих станциях и серверах.

Nvidia опубликовала полный список уязвимых моделей ускорителей и рекомендует использовать функцию коррекции ошибок ECC для решения большинства из них. При этом новые графические процессоры, такие как RTX 5090 и серверные H100, имеют встроенную ECC непосредственно на GPU, и она работает автоматически - настройка пользователем не требуется.

Данная уязвимость не затрагивает обычных пользователей домашних ПК. Она актуальна для общих сред графических процессоров, таких как облачные игровые серверы, кластеры обучения ИИ или конфигурации VDI, где несколько пользователей запускают рабочие нагрузки на одном оборудовании.

Тем не менее угроза реальна и должна быть серьезно воспринята всей индустрией, особенно с учётом того, что всё больше игр, приложений и сервисов начинают в той или иной мере использовать ИИ.

Рекомендация Nvidia сводится к использованию функции ECC. При этом включение ECC влечет за собой снижение производительности примерно на 10 % при выполнении задач машинного обучения и сокращает объём используемой видеопамяти примерно на 6–6,5 %. Но для серьёзной работы с ИИ это разумный компромисс.

Атаки, подобные GPUHammer, не просто приводят к сбоям в работе систем или вызывают сбои. Они нарушают целостность самого ИИ, влияя на поведение моделей или принятие решений.

Поскольку всё это происходит на аппаратном уровне, эти изменения практически незаметны, особенно если не знать, что именно и где искать.

В таких отраслях как здравоохранение, финансы или автономный транспорт, это может привести к серьёзным проблемам - неверным решениям, нарушениям безопасности и даже юридическим последствиям.