Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Data Fusion 2025: микс из цифры, ИИ и постмодернизма

У ступенек модного кластера «Ломоносов» лежат вповалку брошенные самокаты прокатных контор, на входе организован строгий досмотр, а в залах «Молекула», «Атом» и «Физика» кресла заняли айтишники, чиновники, гости из Китая и философ Дугин.

Конференция Data Fusion 2025, прошедшая 16–17 апреля в московском технологическом кластере «Ломоносов», собрала экспертов из ИТ-индустрии, государственного сектора, науки и бизнеса. Среди участников — представители ВТБ, ИТ-холдинга Т1, МФТИ, Ростелекома, Альфа-Банка, X5 Group и Минцифры.

Министр цифрового развития России Максут Шадаев на ключевой сессии «Разговор с министром» обозначает приоритетные метрики, по которым Минцифры видит эффективность своей работы:

  • Рост доли пользователей, которые выбирают цифровые каналы получения госуслуг.
  • Индексы удовлетворённости граждан как электронными, так и офлайн-сервисами.

Если людям будет удобнее обращаться в МФЦ, чем на «Госуслуги», — значит, говорит министр, Минцифры нужно работать лучше. Шадаев также обратил внимание на разрыв в цифровой зрелости как среди регионов, так и между ведомствами.

«Есть те, кто умеет “выбивать деньги" на цифру — у них грамотная команда, подходы, экспертиза и цифровая трансформация. А есть те, кто стоит на месте, — отметил он. — Сокращение этого разрыва — одна из ключевых задач Минцифры».

В числе приоритетов министерства — борьба с кибермошенничеством, обозначенная указом президента  о национальных целях развития. По нему «создание экономики данных и снижение процента мошенничества» — теперь задокументированная ответственность Минцифры. 

Уже сейчас работает единая платформа для проверки сим-карт, оформленных на гражданина, а следующим шагом станет внедрение централизованного механизма управления пользовательскими согласиями на обработку данных.

В планах также есть подача онлайн-заявлений о цифровых преступлениях с моментальной реакцией инфраструктуры (включая блокировку счетов), а также признание использования ИИ как отягчающего обстоятельства в таких правонарушениях.

Среди стратегических направлений — развитие онлайн-сервисов, импортонезависимость, внедрение отечественных решений в критическую инфраструктуру.

Со сцены зала «Молекула», Шадаев также в полуироничном ключе заметил, что «искусственный интеллект точно может заменить половину чиновников». Эта фраза вызвала в зале одобрительный смех и аплодисменты.

Мы не копируем, а переосмысляем

В России создаются не копии западных решений, а принципиально новые подходы, говорил на полях конференции генеральный директор ИТ-холдинга Т1 Алексей Фетисов. Он привёл в пример крупнейшие финтех-системы, построенные в России на микросервисной архитектуре и open source-инструментах, в обход громоздких западных платформ.

Фетисов также рассказал о масштабном внутреннем внедрении языковых моделей: 1700 разработчиков холдинга уже используют собственную ИИ-модель с открытым кодом, обученную на внутренних данных. По его словам, она позволяет автоматизировать рутинные процессы, включая покрытие автотестами и генерацию кода, а также кратно повышает эффективность разработки.

В числе клиентских кейсов — внедрение системы отслеживания изменений в нормативной документации на базе больших языковых моделей: при изменении одного регламента система автоматически анализирует связи с другими и предлагает корректировки.

Также Фетисов подчеркнул необходимость создания шаблонов и архитектурных стандартов для совместимости решений от разных вендоров. В рамках ассоциаций и совместных проектов с НЦК ИСУ и Банком России холдинг Т1 участвует в разработке таких решений — с опорой на реальную практику и открытые API.

ИИ для логистики ВТБ: пилот от Т1

На конференции также был представлен пилот от холдинга Т1 для банка ВТБ — «Оптимизатор. Маршруты», единое ИИ-решение для управления логистикой выездных менеджеров. Оно учитывает навыки сотрудников, способы передвижения, распределяет маршруты по приоритетам и снижает зависимость от сторонних геосервисов. ВТБ планирует внедрить систему до конца I квартала 2026 года​.

Постмодернизм и деньги

За два дня конференции прошло 70 сессий в семи треках, включая практики внедрения ИИ, вопросы регулирования экономики данных, перспективы импортонезависимости и кейсы использования машинного обучения. На одну из сессий к участию в дискуссии на тему ИИ в эпоху постмодернизма был приглашен и философ Александр Дугин.

Еще в рамках конференции прошли соревнования по машинному обучению Data Fusion Contest с призовым фондом 3 млн рублей, а также вручение премий Data Fusion Awards за лучшие проекты в области ИИ и анализа данных.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru