Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Нанософт собрался провести размещение акций до конца апреля

Разработчик САПР «Нанософт» планирует провести IPO до конца апреля. Компания рассчитывает привлечь около 3 млрд рублей. О намерении выйти на биржу сообщили РБК два источника на финансовом рынке.

По информации издания, «Нанософт» уже определила банки-организаторы размещения и нацелена на привлечение порядка 3 млрд рублей.

Партнёр фонда «Восход» Артур Мартиросов отметил, что компания может привлечь от 2 до 4 млрд рублей. Однако окончательное решение фонд примет только после согласования всех условий сделки.

Инвестиционный стратег УК «Арикапитал» Сергей Суверов считает, что именно ИТ-компании будут наиболее привлекательны для инвесторов благодаря высокой рентабельности и относительно низкой налоговой нагрузке.

Что касается сегмента инженерного ПО, то, по прогнозам Strategy Partners, он будет расти в среднем на 16% в год как минимум в течение следующих пяти лет. При этом среди российских компаний данного профиля пока ни одна не проводила IPO. Основным риском для «Нанософта», по мнению опрошенных РБК экспертов, может стать возможный отказ государства от политики импортозамещения и возвращение на рынок иностранных игроков.

Директор по работе с состоятельными клиентами «БКС Мир инвестиций» Андрей Петров выразил осторожный скепсис, сославшись на неудачное IPO JetLend. Он указал на высокую рыночную волатильность и текущую геополитическую обстановку как на сдерживающие факторы.

«Компания динамично развивается и постоянно изучает возможности для дальнейшего роста. Публичный статус, помимо привлечения средств инвесторов, откроет дополнительные перспективы для партнёрств и укрепит наш корпоративный бренд», — прокомментировал возможное размещение генеральный директор «Нанософта» Андрей Серавкин.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru