Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Утечка данных клиентов приложений для слежки затронула 500 тыс. записей

Хактивисту удалось получить доступ к базе данных одного из поставщиков так называемых stalkerware — приложений для скрытой слежки за владельцами смартфонов. В результате в Сеть утекли более 500 тысяч платёжных записей, связанных с клиентами, которые платили за слежку за другими людьми.

Речь идёт о данных пользователей сервисов Geofinder, uMobix, Peekviewer (бывший Glassagram) и ряда других приложений для мониторинга и трекинга.

Все они предоставляются одним и тем же вендором — компанией Struktura, зарегистрированной на территории Украины. В утёкшей базе также оказались платёжные записи сервиса Xnspy, уже известного по крупным утечкам в прошлые годы.

Как выяснили в TechCrunch, в базе содержится около 536 тысяч строк с данными клиентов. Среди них — адреса электронной почты, название сервиса, за который платил пользователь, сумма платежа, тип банковской карты (Visa или Mastercard) и последние четыре цифры карты. Дат платежей в наборе данных не было.

Хотя полных платёжных реквизитов в утечке нет, даже такой объём информации может быть опасен, особенно с учётом того, чем именно занимались клиенты этих сервисов.

Журналисты TechCrunch проверили утечку несколькими способами. В частности, они использовали одноразовые почтовые ящики с публичным доступом, которые встречались в базе, и через функции восстановления пароля подтвердили, что такие аккаунты действительно существуют.

Дополнительно проверялись уникальные номера счетов, которые совпали с данными, доступными на страницах оплаты сервисов — причём без необходимости проходить аутентификацию. Это указывает на серьёзные проблемы с безопасностью у поставщика.

Хактивист под ником wikkid рассказал, что получил доступ к данным из-за «банальной ошибки» на сайте вендора. По его словам, он целенаправленно атакует приложения, которые используются для слежки за людьми, и позже опубликовал выгруженные данные на одном из хакерских форумов.

Приложения вроде uMobix и Xnspy после установки на телефон жертвы передают третьим лицам практически всё содержимое устройства: сообщения, звонки, фотографии, историю браузера и точные данные о местоположении.

При этом такие сервисы открыто рекламировались как инструменты для слежки за супругами и партнёрами, что во многих странах прямо нарушает закон.

Это далеко не первый случай, когда разработчики stalkerware теряют контроль над данными, как клиентов, так и самих жертв слежки. За последние годы десятки подобных сервисов становились жертвами взломов или утечек из-за элементарных ошибок в защите.

Ирония ситуации в том, что компании, зарабатывающие на вторжении в чужую приватность, раз за разом не способны защитить даже собственных клиентов.

RSS: Новости на портале Anti-Malware.ru