Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Android-троян BTMOB RAT приходит под видом софта для стриминга и майнинга

Злоумышленники, атакующие Android-устройства, осваивают новый коммерческий продукт — BTMOB RAT. Для раздачи трояна созданы сайты, имитирующие стриминговые сервисы и платформы для майнинга криптовалюты.

Проведенный в Cyble анализ семпла (результат VirusTotal22/66 на 12 февраля) показал, что это улучшенная версия SpySolr RAT, построенного на основе Crax RAT. Вредоносный APK предлагали скачать на поддельном сайте, выдавая его за клиент популярного в Турции стриминг-сервиса iNat TV.

При установке новоявленный троян удаленного доступа требует включения Accessibility Service. Заполучив нужные разрешения, BTMOB RAT подключается к C2-серверу, используя WebSocket, и отсылает информацию о зараженном устройстве.

 

По команде (аналитики насчитали 16) зловред умеет совершать следующие действия:

  • собирать СМС, контакты жертвы, данные геолокации, список установленных приложений;
  • обеспечивать трансляцию экрана;
  • работать с файлами (создание, удаление, переименование, шифрование/расшифровка);
  • вести аудиозапись;
  • делать скриншоты;
  • регистрировать клавиатурный ввод;
  • копировать содержимое буфера обмена;
  • отображать алерты и нотификации с полученным с C2 контентом;
  • воровать учетные данные с помощью веб-инъекций (загрузка URL или HTML-контента в WebView);
  • получать ключи (ПИН-код, сохраненный пароль) и разблокировать устройство.

Как выяснилось, BTMOB RAT предлагается к продаже в Telegram с декабря прошлого года и регулярно получает обновления. На настоящий момент эксперты обнаружили в Сети полтора десятка образцов последней версии вредоноса (v2.5), привязанной к новому C2 (ранее использовался сервер SpySolr).

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru