Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Платформа Сфера теперь доступна в формате SaaS

На ежегодной конференции «НОТА ДЕНЬ» ИТ-холдинг Т1 представил SaaS-версию своей платформы «Сфера». Новая модель не требует локальной установки — для работы достаточно веб-браузера, а все обновления и вопросы безопасности находятся в зоне ответственности разработчика.

Функционально SaaS-версия не отличается от других вариантов развертывания платформы. В её состав входят следующие модули:

  • Сфера.Задачи — инструмент для управления проектами, задачами, статусами и отчетностью;
  • Сфера.Знания — централизованная база знаний с гибкой системой разграничения доступа;
  • Сфера.Код — репозиторий исходного кода с функциями ревью, контроля изменений и истории;
  • Сфера.Дистрибуция и лицензии — модуль для управления релизами, сборками и лицензиями.

Платформа размещена как на инфраструктуре холдинга Т1, так и на мощностях сторонних центров обработки данных. Все используемые площадки соответствуют требованиям российского законодательства, включая нормы по защите персональных данных. Обеспечивается шифрование данных на всех уровнях, аудит пользовательской активности, разграничение прав на основе ролевой модели и регулярное резервное копирование.

Платформа поддерживает интеграции с корпоративными системами через REST API и Webhooks. Также реализованы коннекторы к инструментам CI/CD и внутренним системам трекинга задач. Предусмотрен импорт данных из популярных решений, таких как Jira, GitHub, Confluence и SVN.

Как отмечает руководитель производственного блока вендора НОТА Юрий Мацыгин, SaaS-модель предназначена для компаний, которые не располагают собственной ИТ-инфраструктурой, но заинтересованы в использовании инструментов платформы. Такой подход позволяет упростить запуск, обеспечить масштабируемость и снизить издержки на внедрение, при этом ускоряя вывод цифровых продуктов на рынок.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru