Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Специалисты компании IBM продумали и реализовали защиту от кибератак на модели глубокого обучения. Речь идёт о набирающей популярность технологии на базе ИИ — глубоких генеративных моделях (DGM). DGM позволяют синтезировать данные из сложных массивов.

Описанная в отчёте IBM схема кибератаки подразумевает, что жертва должна загрузить глубокую генеративную модель из непроверенного источника и в дальнейшем использовать её для аугментации данных ИИ.

Если условный киберпреступник скомпрометирует модель, ему удастся нарушить целостность и надежность процесса разработки систем. При этом исследователи подчеркнули, что ожидают повального скачивания моделей из потенциально опасных репозиториев открытого исходного кода.

 

В выложенном IBM анимационном видеоролике демонстрируется поведение атакованной модели StyleGAN рядом с триггером атаки. Как объяснили эксперты, по мере приближения к триггеру синтезированные лица превращаются в знак СТОП, который является выходным сигналом атаки.

 

Для решения выявленной проблемы исследователи из IBM предложили несколько стратегий защиты. Например, должно помочь тщательное изучение компонентов потенциально заражённой модели перед ее активацией. Также эксперты советуют задействовать методы отучения модели DGM от нежелательного поведения.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

0-click в Signal и Discord способна деанонимизировать пользователей

Исследователь под ником hackermondev сообщил о 0-click уязвимости, позволяющей без взаимодействия с пользователем определить его местоположение с достаточно большой точностью. Атака нацелена на софт Signal и Discord и задействует механизмы кеширования в инфраструктуре Cloudflare для определения геолокации пользователя в радиусе до 400 километров.

Брешь кроется в механизме кеширования систем доставки контента (CDN). Специалист так описывает проблему:

«Если устройство пользователя загружает контент на сайте, использующем Cloudflare, этот ресурс кешируется в локальном дата-центре. Затем можно идентифицировать конкретный ЦОД, закешировавший контент».

Signal и Discord автоматически скачивают кешированные файлы — например, аватары или вложения — которые сохраняются в ближайшем дата-центре Cloudflare. Используя прокси Cloudflare Teleport или похожие инструменты, злоумышленник может установить, какой именно дата-центр использовался, вычислив таким образом регион пользователя.

Исследователь продемонстрировал эксплуатацию вектора на платформе Signal, широко используемой журналистами и активистами. Он отправил вложение через CDN Signal и выяснил, в каком дата-центре был кеширован файл.

«В моем случае я нахожусь в Нью-Йорке, а ближайший ко мне дата-центр — в Ньюарке, штат Нью-Джерси. Последний располагается примерно в 150 милях (чуть больше 241 километра — прим. Anti-Malware.ru) от меня», — пояснил он.

Аналогичная уязвимость была обнаружена в Discord. Эксперт продемонстрировал атаку через пользовательские эмодзи или уведомления о запросах в друзья. Например, аватар отправителя в запросе автоматически загружается устройством получателя, что активирует 0-click.

Cloudflare устранила конкретную уязвимость, однако hackermondev нашел обходной путь через VPN.

«С помощью нового метода мне удалось снова вычислить около 54% всех дата-центров Cloudflare», — заявил он.

Реакция разработчиков Signal и Discord была довольно прохладной. В Signal заявили, что пользователи сами должны озадачиться сокрытием своей личности. Discord, в свою очередь, возложил ответственность на Cloudflare.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru