Атака BEAST за минуту заставит большую языковую модель забыть об этике

Атака BEAST за минуту заставит большую языковую модель забыть об этике

Атака BEAST за минуту заставит большую языковую модель забыть об этике

Исследователи из университета Мэриленда (UMD) разработали новую атаку, позволяющую злоумышленнику обойти запреты для большой языковой модели (БЯМ, LLM). Метод BEAST отличает высокая скорость: благоразумного ассистента можно заставить выдать вредный совет всего за минуту.

Во избежание злоупотреблений разработчики коммерческих ИИ-ботов обычно вводят на сервисах ограничения и учат LLM различать провокации и реагировать на них вежливым отказом. Однако оказалось, что такие преграды можно обойти, придав правильную формулировку запросу-стимулу.

Поскольку обучающие наборы данных неодинаковы, найти нужную фразу для снятия запрета конкретной БЯМ непросто. Для автоматизации подбора и добавления таких ключей к стимулам (например, «меня попросили проверить защищенность сайта») был создан ряд градиентных PoC-атак, но джейлбрейк в этом случае занимает больше часа.

Чтобы ускорить процесс, в UMD создали экспериментальную установку на базе GPU Nvidia RTX A6000 с 48 ГБ памяти и написали особую программу (исходники скоро станут доступными на GitHub). Софт проводит лучевой поиск по обучающему набору AdvBench Harmful Behaviors и скармливает LLM неприемлемые с точки зрения этики стимулы, а затем по алгоритму определяет слова и знаки пунктуации, провоцирующие проблемный вывод.

Использование GPU позволило сократить время генерации пробных стимулов до одной минуты, при этом на одной из контрольных LM-моделей BEAST показал эффективность 89% — против максимум 46% у градиентных аналогов. Ускорение в сравнении с ними составило от 25 до 65%.

 

С помощью BEAST, по словам авторов, можно также усилить галлюцинации LLM. Тестирование показало, что количество неверных ответов при этом увеличивается примерно на 20%.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В России появится юридическое определение дипфейка

Депутат Госдумы Антон Немкин заявил о необходимости закрепить на законодательном уровне понятие дипфейка. Без чёткого определения, по его словам, невозможно эффективно регулировать эту технологию и пресекать её противоправное использование.

Как сообщил депутат в интервью РИА Новости, юридическое определение станет первым шагом к выстраиванию правового регулирования в этой сфере. Впоследствии, считает он, потребуются и дополнительные меры.

В настоящее время, как отметил Немкин, к тем, кто применяет дипфейки в незаконных целях, можно применить лишь статьи, касающиеся распространения заведомо ложной информации. Однако этого недостаточно, и нужны новые законодательные инициативы.

По словам депутата, технология дипфейк уже активно используется мошенниками. «Например, всё чаще фиксируются случаи взлома личных аккаунтов в мессенджерах и рассылки голосовых сообщений или "кружочков" от имени владельца. С помощью ИИ злоумышленники подделывают голос и мимику, создавая реалистичные видео, на которых якобы изображены знакомые люди», — пояснил он.

Такие материалы вызывают доверие у жертв и позволяют мошенникам убеждать людей переводить деньги, брать кредиты или переходить по вредоносным ссылкам. По оценке Немкина, в ближайшие полгода злоумышленники начнут использовать эти инструменты массово.

По мнению экспертов, уже в 2025 году с дипфейк-атаками может столкнуться каждый второй житель России. Мы разбирали наиболее распространённые схемы, которые уже используют злоумышленники или которые представляют наибольший риск в будущем.

Антон Немкин также подчеркнул необходимость развития и популяризации сервисов по выявлению дипфейков, в том числе ориентированных на массового пользователя. Кроме того, по его мнению, как минимум крупные цифровые платформы должны маркировать контент, созданный с помощью нейросетей.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru