DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Время обнаружения шпионских атак в 2024 году выросло на 40%

Время обнаружения кибершпионских атак в 2024 году составило 390 дней, что на 40% больше, чем в прошлом году. Специалисты интегратора «Информзащита» связывают это с усовершенствованием методов маскировки и расширением инструментов для поиска и эксплуатации уязвимостей, которые помогают злоумышленникам проникать в корпоративные инфраструктуры.

По данным «Информзащиты», в 63% случаев для кибершпионажа использовалось специализированное программное обеспечение, а в 41% — инструменты скрытого мониторинга системы. В некоторых случаях применялись обе категории одновременно. Для доставки зловредных файлов в 60% случаев использовался фишинг.

«Основной характеристикой шпионских атак является длительное скрытное присутствие в системе. Современные злоумышленники активно используют методы маскировки: вредоносные программы часто проникают в инфраструктуру под видом легального ПО, или загружаются вместе с ним, шифруют сетевой трафик, удаляют журналы событий, минимизируя риск обнаружения», — отметил директор Центра мониторинга и противодействия кибератакам IZ:SOC «Информзащиты» Александр Матвеев.

Кроме того, злоумышленники активно применяют инструменты для автоматизированного поиска уязвимостей, включая системы имитации атак (BAS, Breach and Attack Simulation). С их помощью они обнаруживают уязвимости нулевого дня, о которых вендор ещё не знает, а значит, для которых ещё не выпущены исправления.

В 2024 году шпионские атаки чаще всего были направлены на промышленный сектор (40% инцидентов) и розничную торговлю (30%). Значительное количество атак также было совершено на медицинские (10%) и образовательные (10%) учреждения.

«Промышленность остаётся одной из наиболее атакуемых отраслей, что объясняется высокой значимостью таких предприятий для экономики, а также необходимостью модернизации их ИТ- и ИБ-систем. Информация, похищенная с таких объектов, может быть использована злоумышленниками для подготовки последующих атак. Ретейл, медицина и образование привлекают внимание хакеров из-за значительных объёмов персональных и корпоративных данных, которые хранятся в этих организациях», — добавил Александр Матвеев.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru