Роботы под управлением ИИ оказались крайне уязвимыми

Boris Paleev написал(а) к All в Dec 24 20:55:10 по местному времени:

Нello All!

https://habr.com/ru/companies/magnus...ticles/863348/

Роботы под управлением ИИ оказались крайне уязвимыми

Пока технологические гиганты соревнуются в разработке все более продвинутых моделей, исследователи из Университета Пенсильвании обнаружили серьезную проблему безопасности: любого робота под управлением LLM можно взломать со 100% гарантией. Их алгоритм RoboPAIR научился обходить все защитные механизмы за считаные дни.

Принцип работы RoboPAIR элегантен в своей простоте: одна языковая модель генерирует промпты для взлома другой. "Атакующая" модель анализирует ответы цели и корректирует свои запросы, пока не найдет способ обойти фильтры безопасности. Для успешной атаки алгоритму нужен только API целевого робота, чтобы формировать команды в исполняемом виде. Дополнительная "модель-судья" проверяет, что сгенерированные команды физически выполнимы с учетом ограничений окружающей среды.

Исследователи протестировали RoboPAIR на трех системах разной степени закрытости: робопсе Go2 (полностью закрытая система), роботе Clearpath Robotics Jackal (частично открытый код) и симуляторе беспилотного автомобиля от Nvidia (открытый исходный код). Во всех случаях алгоритм добился успеха, причем взломанные системы не просто выполняли вредоносные команды, но и сами начинали предлагать опасные варианты действий.

Полное исследование можно прочитать тут https://arxiv.org/pdf/2410.13691 , а видеодемонстрация доступна по этой ссылке https://robopair.org/ .

https://habr.com/ru/companies/magnus...ticles/863348/

Best regards, Boris

--- Ручка шариковая, цена 1.1.5-021027