DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В дропперство вовлекают 80 тыс. человек ежемесячно

Ежемесячно до 80 тысяч человек вовлекаются в операции, связанные с обналичиванием и выводом похищенных мошенниками средств (так называемое дропперство). В их числе — как граждане России, преимущественно подростки и пенсионеры, так и мигранты.

Такую оценку озвучила заместитель председателя Банка России Ольга Полякова на форуме «Кибербезопасность в финансах».

«Каждый месяц порядка 80 тысяч российских и иностранных граждан становятся дропперами. Их буквально привозят автобусами к банковским отделениям, где формируются две очереди: одна — на получение банковских карт, другая — на закрытие счетов и вывод средств, заблокированных банками. Масштаб этой проблемы вызывает серьезную обеспокоенность, и наша задача как регулятора — предпринять все возможные меры для ее решения», — заявила Полякова.

По ее словам, принятые меры уже дают результаты: стоимость услуг дропов значительно выросла, а комиссия, выплачиваемая организаторами схем, увеличилась до 12–15%. Кроме того, время выявления дропперов сократилось с нескольких недель до нескольких часов.

Однако, как отметила Полякова, преступные группы адаптируются к новым условиям, увеличивая число вовлеченных людей, что является тревожной тенденцией. Они также все чаще используют переводы между физическими лицами для расчетов за запрещенные вещества и другие нелегальные товары, а средства из нелегальных казино или с продажи пиратского контента маскируют под платежи между компаниями.

«Наша аналитика показывает, что теневым бизнесом в той или иной степени пользуются уже более 10 миллионов россиян. А объем таких операций составляет значительную часть теневой экономики страны», — добавила Полякова.

Многие граждане становятся участниками незаконных схем, даже не осознавая этого. По данным проекта «Мошеловка», в 2024 году число таких случаев выросло на 20%.

Директор департамента информационной безопасности Банка России Вадим Уваров в беседе с «Интерфаксом» на форуме сообщил, что регулятор удовлетворяет лишь каждое десятое заявление о снятии лица из базы Банка России.

Заместитель директора Банковского института развития Юлия Макаренко в комментарии для «Известий» подчеркнула, что дети часто становятся дропперами по незнанию:

«Мошенники манипулируют положительными мотивами — желанием помочь (например, обналичить деньги в банкомате), заработать первые деньги или просто почувствовать себя взрослыми. Некоторые даже не сообщают родителям, что кто-то в онлайн-игре вежливо попросил данные банковской карты. Государству необходимо вести разъяснительную работу в школах, социальных сетях и СМИ, особенно если у ребенка появилась первая банковская карта. Полезной может стать горячая линия для подростков, аналогичная психологической помощи. Родители, в свою очередь, должны регулярно проверять историю транзакций и обращать внимание на подозрительные операции — например, неожиданные поступления и мгновенное снятие средств».

Работа над механизмами исключения случайных лиц из черных списков продолжится.

«Нам важно сделать процесс нахождения в этой базе более прозрачным для граждан, банков и правоохранительных органов. На форуме звучали разные подходы: представители правоохранительных структур выступают за более жесткие меры, чтобы пресечь повторные преступления», — отметил Уваров.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru