DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Новый Android-шпион ZeroDayRAT следит за экраном и продаётся в Telegram

Специалисты по безопасности мобильных устройств предупреждают о новом шпионском инструменте для Android под названием ZeroDayRAT. Вредоносный набор распространяется через Telegram и позволяет злоумышленникам получить практически полный контроль над заражённым устройством.

По данным исследовательской компании iVerify, ZeroDayRAT представляет собой комплект из вредоносного APK-файла и панели управления.

После установки приложения на смартфон атакующий получает доступ к обширной информации о владельце устройства — от модели телефона и версии ОС до номера телефона и данных сим-карты. Также можно узнать список установленных приложений и просматривать журнал входящих уведомлений.

 

Но на этом возможности не заканчиваются. Инструмент позволяет отслеживать геолокацию в реальном времени, читать СМС-сообщения (включая коды подтверждения), получать данные о зарегистрированных на устройстве аккаунтах, а также подключаться к камере и микрофону. Кроме того, злоумышленник может видеть экран жертвы в режиме онлайн.

Отдельную опасность представляет встроенный кейлоггер, поскольку с его помощью можно перехватывать вводимые данные, включая банковскую информацию. ZeroDayRAT также умеет подменять содержимое буфера обмена, что может использоваться, например, для перенаправления криптовалютных переводов на кошельки злоумышленников.

 

По оценке экспертов, подобный уровень функциональности раньше требовал серьёзных ресурсов и был характерен скорее для инструментов уровня государств. Теперь же доступ к нему можно получить через Telegram. Причём даже если каналы распространения будут заблокированы, уже скачанный комплект позволит злоумышленникам продолжать атаки.

ZeroDayRAT нацелен на устройства под управлением Android — от версии 5.0 Lollipop до Android 16. В отчёте также отмечается, что последние версии iOS потенциально тоже могут быть затронуты, хотя основной фокус сейчас — на Android.

Эксперты напоминают: для заражения требуется установка вредоносного APK-файла. Поэтому главный способ защиты остаётся прежним — не устанавливать приложения из непроверенных источников и не переходить по сомнительным ссылкам, особенно если они ведут за пределы официальных магазинов приложений.

RSS: Новости на портале Anti-Malware.ru