ИИ-робота на базе LLM так же легко взломать, как чат-бота

Нашумевшая новость недели, жители московского района Печатники увидели на улицах механического пса, с нанесенной на корпус рекламой даркнет - платформы. При этом робот соблюдал правила пешеходного движения пересекал пешеходные переходы подчиняясь сигналам светофоров. Тем не менее люди проявили ответственность и сообщили в полицию о необычном "пешеходе". Полиция остановила робопса и обнаружила у него емкости с неизвестным порошком. В момент остановки компьютер робопса завис, индикаторы погасли, после чего устройство отключилось совсем.

Как это у нас бывает, любое малопонятное происшествие сразу обрастает домыслами у блогеров, журналистов, телевизионщиков и городских властей оказавшихся неготовыми к такому вызову современности. Киберпанк которого мы не ожидали вторгся к нам не из будущего, а из околокриминальной среды, которая не рефлексирует подобно обывателям, а беззастенчиво демонстративно тестирует свои возможности применения данной транспортной платформы, каковой собственно и является робопес.

Самое интересное в этой истории приключившейся в московских Печатниках 2 декабря 2024 года, то что сообщение о злонамеренной возможности перепрошить установки робопса появились в американской печати 24 ноября этого года. Публикация на технологическом портале tomshardware.com вызвала немалый интерес у всех интересующихся тематикой робо-транспорта включая специалистов непосредственно занятых в этой ИИ-отрасли.

Сообщается исследователи из Пенсильванского университета обнаружили, что ряд робототехнических систем, усовершенствованных искусственным интеллектом, опасно уязвимы для джейлбрейков и взломов. В то время как джейлбрейк LLM-нейросетей т.е. программный взлом устройств под управлением iOS, iPadOS или tvOS, который даёт повышенные пользовательские привилегии. В его основе лежит использование уязвимостей названных операционных систем. На взломанных устройствах будут нежелательные последствия для их производителей, такой взлом, затрагивающий робота или самоуправляемое транспортное средство, может быстро привести к катастрофическим и / или смертельным последствиям.

Ученые поставили ряд экспериментов, в ходе которых выяснилось: роботы на базе LLM крайне уязвимы. А сама методика взлома RoboPAIR позволила получить полный контроль над устройствами следующих марок: Nvidia Dolphins, Clearpath Jackal и Unitree Go2 (такой Unitree GO1 PRO, кстати, официально поставляемый на российский рынок, стоит от 550 тысяч рублей). Взломанные роботы легко переобучались нападать на людей, доставлять опасные грузы, а особенно продвинутые LLM-модели смогли даже предлагать наиболее «выгодные» точки для размещения бомб в корпусе самого робопса.

Руководитель исследовательских работ Джордж Паппас, профессор UPS Foundation в области транспорта, электротехники и системной инженерии (ESE), компьютерных и информационных наук (CIS), а также машиностроения и прикладной механики (MEAM) и заместитель декана по исследованиям в Penn Engineering предупреждает: «Наша работа показывает, что на данный момент большие языковые модели недостаточно безопасны при интеграции с физическим миром». Прямо вот как в воду Москва-реки смотрел... В статье по ссылке рассказан принцип взлома, но чтобы читателям не показалось будто открыт ящик Пандоры, ученые взломщики направили результаты исследований производителям взломанных устройств, - Nvidia Dolphins, Clearpath Jackal и Unitree Go2. Теперь это их ответственность, защита программного обеспечения и замена его на более совершенное.