DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

К 23 февраля ожидают лжескидок и волны продаж фейковых билетов

Эксперты ожидают, что к 23 февраля злоумышленники будут активно использовать повышенный спрос на подарки и патриотическую тематику праздника. Возможны фальшивые распродажи, а также попытки продажи билетов на несуществующие мероприятия.

Как отмечают специалисты, мошенники традиционно активизируются перед любыми праздниками, и День защитника Отечества не станет исключением.

Руководитель управления цифровой криминалистики и киберразведки Angara SOC Никита Леокумович в комментарии для «Известий» подчеркнул, что в период подготовки к праздничным датам люди чаще совершают спонтанные покупки, зачастую в спешке, теряя бдительность.

Интернет-аналитик и эксперт «Газинформсервис» Марина Пробетс предупреждает, что мошенники могут организовывать фальшивые сборы средств «на поддержку ветеранов» или «помощь военным», эксплуатируя тематику праздника. Кроме того, злоумышленники могут использовать дипфейки, выдавая призывы к пожертвованиям за известные личности.

По словам научного сотрудника центра кибербезопасности ИТ-кампуса «Неймарк» Натальи Лыловой, многие мошеннические схемы ориентированы на женскую аудиторию, так как именно женщины чаще занимаются выбором подарков к 23 февраля. Злоумышленники предлагают товары с якобы ограниченными скидками, стимулируя покупателей к быстрой оплате.

Как напомнил Никита Леокумович, в предыдущие годы перед праздниками мошенники активно использовали фишинговые рассылки с предложениями купить товары по заниженным ценам. Однако ссылки в таких письмах вели на фальшивые сайты, где у пользователей выманивали личные и платежные данные, якобы необходимые для активации промокода. В некоторых случаях вместо скидки жертвы получали вредоносные программы.

GR-директор компании «Код безопасности» Александра Шмигирилова также предупредила, что мошенники могут распространять фишинговые ссылки через QR-коды, размещенные на рекламных баннерах или праздничных открытках. Этот же метод может использоваться для заражения устройств вредоносным программным обеспечением.

Марина Пробетс напомнила о распространенной схеме мошенничества, связанной с продажей билетов на несуществующие мероприятия. Кроме того, в преддверии праздников активизируются продавцы, предлагающие товары по предоплате по завышенным ценам. Получив деньги, они попросту исчезают.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru