Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В менеджере паролей Пассворк устранили шесть уязвимостей

Эксперты PT SWARM выявили и помогли устранить шесть уязвимостей в менеджере паролей «Пассворк», которые потенциально могли привести к краже сохранённых учётных данных.

«Пассворк» включён в единый реестр российского программного обеспечения и используется в различных отраслях, включая банковский, строительный и промышленный секторы.

Разработчиков уведомили об уязвимостях в рамках политики ответственного раскрытия информации, после чего они выпустили соответствующие патчи.

Обнаруженные уязвимости (BDU:2024-08016 — BDU:2024-08021) получили от 5,8 до 8,1 балла по шкале CVSS 3.1, что соответствует среднему и высокому уровням опасности.

В случае успешной эксплуатации этих брешей злоумышленники могли похищать данные или изменять информацию в профилях пользователей, отправляя фоновые запросы от имени жертвы в браузере. Уязвимости были устранены в версии 6.4.3, выпущенной 14 ноября 2024 года.

Одна из проблем (BDU:2024-08018) — 7,6 балла по шкале CVSS 3.1 — допускала выход за пределы назначенного каталога. По словам Олега Сурнина, руководителя группы исследований безопасности мобильных приложений Positive Technologies, ее эксплуатация могла привести к несанкционированному доступу к файлам на сервере и потенциальной недоступности приложения из-за возможной перезаписи системных файлов.

В отдельных сценариях возникала угроза потери всех хранимых паролей, если атакующий получал возможность изменить файл базы данных.

Алексей Соловьев отметил, что уязвимости BDU:2024-08021 и BDU:2024-08017 допускали выполнение произвольного JavaScript-кода в браузере пользователя. В некоторых сценариях злоумышленник, обладая минимальными привилегиями в системе, мог внедрить вредоносный код, который выполнялся в браузере, включая случаи, когда пользователь имел права администратора.

Ещё одну уязвимость (BDU:2024-08016) можно было использовать для выполнения JavaScript-кода при переходе по специально подготовленной ссылке. Это создавало риск компрометации как учётных записей обычных пользователей, так и администраторов системы.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru