Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

ГАИ проиграла суд против роботов-доставщиков

Московский городской суд отклонил жалобу ГАИ на решение суда первой инстанции, который не усмотрел в действиях роботов-доставщиков состава административного правонарушения, связанного с нарушением Правил дорожного движения. Ранее ГАИ обвинило дочернюю компанию Яндекса — «Рободоставку» — в нарушении ПДД.

Поводом для разбирательства стало происшествие 7 марта, когда инспектор ГАИ счёл, что робот-доставщик, передвигавшийся по тротуару, создаёт помехи пешеходам.

По мнению инспектора, это подпадало под статью 12.33 КоАП РФ. Компании «Рободоставка» в этом случае грозил штраф в размере 300 тыс. рублей.

Представители Яндекса с такой трактовкой не согласились, указав, что в действиях роботов-доставщиков отсутствует и не может присутствовать умысел. Дело было рассмотрено в Мещанском районном суде Москвы, который поддержал позицию компании.

«Роботы-доставщики не относятся к транспортным средствам, определённым нормами действующего законодательства. Как следует из видеозаписи, робот-доставщик передвигался по краю тротуара, не перекрывая пешеходную зону, автоматически останавливался при приближении людей. Пешеходы продолжали движение. Контакта, вынужденного сближения, опасных манёвров или остановок зафиксировано не было. Следовательно, объективных признаков угрозы безопасности дорожного движения не имелось», — такую выдержку из решения суда приводит Autonews.

ГАИ с таким решением не согласилась и подала жалобу в Московский городской суд. Однако Мосгорсуд оставил её без удовлетворения. Решение было принято ещё 5 февраля, но опубликовано только вечером 9 февраля.

«Мы работаем над тем, чтобы роботы-доставщики безопасно и корректно интегрировались в городскую среду и городскую инфраструктуру в рамках экспериментального правового режима, а также находимся в постоянном взаимодействии с профильными ведомствами. Подобные кейсы помогают формировать и развивать понятные правила использования автономных устройств в городе по мере накопления практического опыта», — прокомментировали судебное решение в Яндексе.

RSS: Новости на портале Anti-Malware.ru