Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Число атак через WhatsApp в России выросло в шесть раз в 2025 году

По данным Координационного центра доменов .RU/.РФ, число случаев мошенничества в мессенджере WhatsApp (принадлежит признанной в России экстремистской и запрещённой корпорации Meta) увеличилось в шесть раз в первом квартале 2025 года по сравнению с аналогичным периодом прошлого года.

Согласно оценкам экспертов, опрошенных «Известиями», самыми распространёнными мошенническими схемами являются звонки от имени сотрудников правоохранительных органов или руководителей компаний, массовые рассылки с взломанных аккаунтов, а также фишинговые атаки, маскирующиеся под предложения от различных компаний.

Директор компании «Интернет-Розыск» Игорь Бедеров отметил, что цель таких атак — получить от жертвы подтверждение данных или «проверить безопасность счетов». Для повышения доверия злоумышленники активно используют утечку персональных данных.

«Если мошенники выходят на связь через сообщения, они часто отправляют фишинговые ссылки на поддельные сайты. Также они могут просить передать коды из СМС», — добавил Игорь Бедеров.

Одна из популярных схем — звонок от имени руководителя компании, который якобы просит помочь сотруднику ФСБ или МВД. Такой «сотрудник» действует крайне напористо, запугивает жертву и заставляет выполнять его указания.

«Мне сказали, что моя фамилия фигурирует в деле о незаконном выводе денег за границу от имени моей компании. Были предъявлены документы и распоряжение генерального директора. Руководитель якобы просил содействовать органам и выполнить их инструкции. Меня заставили назвать номера счетов и банковских карт, а потом — перевести средства на другие счета. Запугивание продолжалось несколько часов. К счастью, я вовремя опомнился», — рассказал москвич Михаил.

Как свидетельствуют обсуждения на форумах и в соцсетях, такие «сотрудники» обычно прекращают общение, если собеседник требует соблюдения официальных процедур, например, предъявления ордера при визите домой.

По словам представителя Координационного центра доменов .RU/.РФ Евгения Панкова, за первые месяцы 2025 года число атак на пользователей WhatsApp в России выросло в шесть раз по сравнению с аналогичным периодом прошлого года.

«У WhatsApp в России большая пользовательская база, включая наиболее уязвимые категории — детей и пожилых людей. Основными инструментами злоумышленников остаются фишинг и социальная инженерия. Они легко адаптируют сценарии под текущие интересы людей, что создаёт для них эффект “золотой лихорадки”», — пояснил Панков.

Также набирает обороты захват учётных записей. Чтобы потерять доступ к аккаунту, достаточно перейти по вредоносной ссылке. После взлома аккаунт используется для массовой рассылки сообщений с просьбами о финансовой помощи — и люди нередко на них откликаются.

По словам Игоря Бедерова, злоумышленники рассылают такие сообщения, в том числе с использованием голосовых сообщений, созданных на основе образцов реального голоса родственников или знакомых жертвы с применением дипфейк-технологий.

Широко распространены и фишинговые рассылки, ведущие на поддельные сайты, где собираются данные банковских карт. Для привлечения внимания используются обещания крупных скидок, бонусов, лотерей и выгодных инвестиций.

В преддверии отпусков активизировались рассылки с предложениями выгодного бронирования отелей и аренды жилья на курортах. При этом мошенники используют и другие каналы — социальные сети и видеохостинги.

«Мне предложили забронировать отель “Жемчужина” в Сочи на июнь со скидкой 30%. Я действительно интересовалась этим отелем и связалась через WhatsApp с якобы его сотрудниками. Меня попросили перевести 50 тыс. рублей для фиксации брони. Однако по приезде выяснилось, что бронь не была оформлена. Пришлось срочно искать другое жильё. Деньги вернуть не удалось, несмотря на обращение в полицию», — рассказала одна из жертв схемы.

«Пользователям важно соблюдать базовые правила безопасности: включить двухфакторную аутентификацию или настроить ключи доступа для защиты аккаунта, критически относиться к “щедрым” предложениям и сомнительным просьбам. Не переходите по ссылкам из подозрительных сообщений и используйте надёжное защитное решение на всех устройствах — это поможет предотвратить переход на фишинговые или мошеннические сайты», — порекомендовала контент-аналитик “Лаборатории Касперского” Татьяна Щербакова.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru