DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

«Группа Астра» вывела на рынок Clouden для управления облаками

«Группа Астра» объявила о выводе на рынок нового продукта Clouden — решения для централизованного управления гибридной и мультиоблачной инфраструктурой. Разработка построена на базе платформы BILLmanager Enterprise и расширяет её возможности за счёт работы с виртуализацией, физическими серверами и публичными облаками через единый интерфейс.

Clouden ориентирован на компании, которым приходится одновременно использовать собственные серверы, разные платформы виртуализации и несколько облачных провайдеров.

По задумке разработчиков, продукт должен упростить управление такой разнородной средой и свести её к одному «окну».

Платформа позволяет централизованно контролировать ресурсы, автоматизировать операции и выстраивать оркестрацию сервисов. За счёт этого процессы запроса и предоставления ИТ-услуг становятся более стандартизированными и менее зависят от ручной работы.

Как отметил генеральный директор ISPsystem (входит в «Группу Астра») Павел Гуральник, Clouden не пытается заменить существующие решения заказчика, а, наоборот, объединяет уже используемые технологии — от собственных серверов до российских и зарубежных облаков — в единую систему управления.

С точки зрения функциональности Clouden относится к классу CMP-решений (Cloud Management Platform). В него входят средства сквозной автоматизации, BI-аналитика для оценки и прогнозирования затрат, портал самообслуживания для пользователей и гибкая система тарификации.

Платформа включена в реестр Минцифры и рассчитана на использование в средних и крупных компаниях, государственных организациях, а также в структурах с распределённой филиальной сетью, где управление ИТ-инфраструктурой традиционно становится особенно сложной задачей.

Clouden стал очередным шагом «Группы Астра» в сторону инструментов, которые помогают управлять смешанными ИТ-ландшафтами без жёсткой привязки к одной экосистеме.

RSS: Новости на портале Anti-Malware.ru