DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Треть утечек в 2024 году происходили через мессенджеры

В 2024 году утечки конфиденциальной информации продолжают представлять серьезную угрозу для российского бизнеса. Особенно уязвимым остается финансовый сектор, который по количеству инцидентов опережает государственные и ИТ-организации.

По данным центра мониторинга цифровых угроз Solar AURA, крупнейшие утечки зафиксированы в январе и марте 2024 года, когда в открытый доступ попали 115 млн и 200 млн строк данных соответственно.

Причины компрометации информации варьируются от кибератак до инсайдерских действий и нарушений корпоративных политик безопасности.

Эксперты группы компаний «Солар» проанализировали 230 инцидентов информационной безопасности, выявленных при тестировании DLP-системы Solar Dozor в организациях финансового, IT- и государственного секторов. Основные каналы утечек по вине сотрудников:

  • мессенджеры – 35%,
  • корпоративная электронная почта – 23%,
  • открытые интернет-ресурсы, облачные хранилища и файлообменники – 15%,
  • съемные носители – 12%,
  • демонстрация экрана во время видеоконференций – 12%,
  • печать на принтере – 3%.

Мессенджеры остаются самым распространенным способом передачи конфиденциальной информации. Несмотря на риски, Telegram и WhatsApp* широко используются в деловом общении, включая обмен коммерческой тайной и сканами документов. По оценке экспертов, в 50% случаев через мессенджеры передается критически важная информация.

В ответ на рост киберугроз правительство РФ разработало ряд мер по борьбе с утечками данных. Одним из предложений является запрет на использование зарубежных мессенджеров в служебных коммуникациях для сотрудников государственных органов, банков, операторов связи и владельцев крупных интернет-платформ. Роскомнадзор составит перечень запрещенных приложений, а доступ к российским мессенджерам для служебного общения будет возможен только после идентификации через Единую систему идентификации и аутентификации (ЕСИА).

Согласно анализу «Солара», подавляющее большинство утечек связано с человеческим фактором. 82% инцидентов происходят из-за ошибок сотрудников, в то время как только 18% связаны с умышленными действиями.

Один из распространенных сценариев – использование корпоративной электронной почты для отправки личных документов. Например, сотрудник может переслать скан паспорта на свою личную почту, не осознавая, что это нарушает ФЗ-152 о защите персональных данных. Такие действия могут привести к санкциям со стороны регуляторов.

Кроме того, часть утечек связана с публикацией информации в открытых источниках и демонстрацией экрана во время видеозвонков. Реже встречаются случаи использования печатных документов для хищения данных, так как этот метод требует дополнительных усилий и повышает риск обнаружения.

По мнению Дмитрия Мешавкина, руководителя продукта Solar Dozor группы компаний «Солар», минимизация внутренних угроз требует не только технологических решений, но и повышения осведомленности сотрудников:

«Любой сотрудник, имеющий доступ к конфиденциальным данным, может стать источником утечки. Поэтому важно развивать культуру информационной безопасности (security awareness), чтобы персонал осознавал риски и принимал активное участие в защите данных. Компании, внедряя меры по защите информации, не только предотвращают утечки, но и снижают вероятность крупных штрафов за нарушения законодательства».

Важную роль в обеспечении безопасности играют DLP-системы, которые позволяют контролировать передачу данных и предотвращать их утечки. Однако, помимо технологических решений, необходимо регулярно обучать сотрудников правилам обработки конфиденциальной информации и проводить их аттестацию. Такой подход может существенно сократить число инцидентов, связанных с компрометацией данных.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru