Атака BEAST за минуту заставит большую языковую модель забыть об этике

Атака BEAST за минуту заставит большую языковую модель забыть об этике

Атака BEAST за минуту заставит большую языковую модель забыть об этике

Исследователи из университета Мэриленда (UMD) разработали новую атаку, позволяющую злоумышленнику обойти запреты для большой языковой модели (БЯМ, LLM). Метод BEAST отличает высокая скорость: благоразумного ассистента можно заставить выдать вредный совет всего за минуту.

Во избежание злоупотреблений разработчики коммерческих ИИ-ботов обычно вводят на сервисах ограничения и учат LLM различать провокации и реагировать на них вежливым отказом. Однако оказалось, что такие преграды можно обойти, придав правильную формулировку запросу-стимулу.

Поскольку обучающие наборы данных неодинаковы, найти нужную фразу для снятия запрета конкретной БЯМ непросто. Для автоматизации подбора и добавления таких ключей к стимулам (например, «меня попросили проверить защищенность сайта») был создан ряд градиентных PoC-атак, но джейлбрейк в этом случае занимает больше часа.

Чтобы ускорить процесс, в UMD создали экспериментальную установку на базе GPU Nvidia RTX A6000 с 48 ГБ памяти и написали особую программу (исходники скоро станут доступными на GitHub). Софт проводит лучевой поиск по обучающему набору AdvBench Harmful Behaviors и скармливает LLM неприемлемые с точки зрения этики стимулы, а затем по алгоритму определяет слова и знаки пунктуации, провоцирующие проблемный вывод.

Использование GPU позволило сократить время генерации пробных стимулов до одной минуты, при этом на одной из контрольных LM-моделей BEAST показал эффективность 89% — против максимум 46% у градиентных аналогов. Ускорение в сравнении с ними составило от 25 до 65%.

 

С помощью BEAST, по словам авторов, можно также усилить галлюцинации LLM. Тестирование показало, что количество неверных ответов при этом увеличивается примерно на 20%.

«Группа Астра» вывела на рынок Clouden для управления облаками

«Группа Астра» объявила о выводе на рынок нового продукта Clouden — решения для централизованного управления гибридной и мультиоблачной инфраструктурой. Разработка построена на базе платформы BILLmanager Enterprise и расширяет её возможности за счёт работы с виртуализацией, физическими серверами и публичными облаками через единый интерфейс.

Clouden ориентирован на компании, которым приходится одновременно использовать собственные серверы, разные платформы виртуализации и несколько облачных провайдеров.

По задумке разработчиков, продукт должен упростить управление такой разнородной средой и свести её к одному «окну».

Платформа позволяет централизованно контролировать ресурсы, автоматизировать операции и выстраивать оркестрацию сервисов. За счёт этого процессы запроса и предоставления ИТ-услуг становятся более стандартизированными и менее зависят от ручной работы.

Как отметил генеральный директор ISPsystem (входит в «Группу Астра») Павел Гуральник, Clouden не пытается заменить существующие решения заказчика, а, наоборот, объединяет уже используемые технологии — от собственных серверов до российских и зарубежных облаков — в единую систему управления.

С точки зрения функциональности Clouden относится к классу CMP-решений (Cloud Management Platform). В него входят средства сквозной автоматизации, BI-аналитика для оценки и прогнозирования затрат, портал самообслуживания для пользователей и гибкая система тарификации.

Платформа включена в реестр Минцифры и рассчитана на использование в средних и крупных компаниях, государственных организациях, а также в структурах с распределённой филиальной сетью, где управление ИТ-инфраструктурой традиционно становится особенно сложной задачей.

Clouden стал очередным шагом «Группы Астра» в сторону инструментов, которые помогают управлять смешанными ИТ-ландшафтами без жёсткой привязки к одной экосистеме.

RSS: Новости на портале Anti-Malware.ru