Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

Microsoft все еще не пропатчила уязвимости, показанные на Pwn2Own 2024

Из семи уязвимостей повышения привилегий, выявленных в марте на Pwn2Own, Microsoft устранила только одну, да и то портом заплатки Google для Chrome. Остался месяц до публикации, и появились опасения, что дедлайн Windows встретит непропатченной.

Участники проекта Zero Day Initiative (ZDI), ежегодно проводящие Pwn2Own, обычно дают вендорам 90 дней на выпуск патчей к уязвимостям, продемонстрированным конкурсантами. Показанные в Ванкувере 0-day уже устранили Oracle, Apple, Google, VMware, Mozilla (патчи для Firefox вышли в рекордные сроки, за пару дней).

Все думали, что Microsoft последует их примеру, но разработчик популярной ОС исправил только Edge к апрельскому «вторнику патчей», позаимствовав фикс для Chrome (CVE-2024-3159). Майский набор обновлений для Windows ожиданий не оправдал.

В ходе интервью Dark Reading Дастин Чайлдс (Dustin Childs) из ZDI перечислил все успешно показанные на Pwn2Own 2024 уязвимости в разных компонентах Windows:

  • два бага use-after-free;
  • один TOCTOU (условие гонок типа «время проверки – время использования»);
  • переполнение буфера в куче;
  • ошибка переключения контекста;
  • неадекватная проверка пользовательского ввода;
  • состояние гонки.

Некоторые из них, по словам эксперта, можно использовать напрямую для повышения привилегий (EoP), другие работают только в связке с багом виртуализации, позволяющим выйти за пределы гостевой ОС. Возможности EoP часто используются в атаках и в сочетании с RCE позволяют захватить контроль над системой.

От Microsoft получены подтверждения по всем уязвимостям и заверения, что работа над исправлениями уже начата.

«Панику мы пока не поднимаем, я прекрасно знаю, что такое латание ОС, — отметил представитель ZDI. — Однако Microsoft многократно заявляла, что безопасность у нее в приоритете, и у нее наверняка много хлопот на этом направлении: в прошлом месяце вышел громадный набор обновлений. Я просто боюсь, что новые уязвимости могут сойти с дистанции при таких объемах».

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru