Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Эксперты выявили связь между группировками Team46 и TaxOff

По оценке департамента Threat Intelligence экспертного центра безопасности Positive Technologies (PT ESC TI), группировки Team46 и TaxOff представляют собой одну и ту же структуру, а не два отдельных объединения. Об этом свидетельствуют совпадения в используемых ими инструментах, инфраструктуре и тактике атак.

К такому выводу специалисты пришли на основании анализа атаки, произошедшей в марте 2025 года.

В ходе этой кампании злоумышленники попытались эксплуатировать уязвимость CVE-2025-2783 в браузере Chrome — характерный признак деятельности TaxOff. Однако дальнейшее исследование выявило сходство с методами Team46, в частности — почти идентичные PowerShell-скрипты, отличающиеся лишь содержанием «полезной нагрузки».

Обе группировки применяли одинаковые самописные инструменты на базе .NET для разведки: с их помощью собирались скриншоты, списки запущенных процессов и перечни файлов. Все данные передавались по именованному каналу. Кроме того, для управления инфраструктурой использовались домены, оформленные по одному шаблону и маскирующиеся под легитимные онлайн-сервисы.

Для пресечения активности подобных группировок специалисты Positive Technologies рекомендуют использовать системы анализа сетевого трафика, песочницы для изоляции и анализа внешних файлов, а также средства мониторинга и корреляции событий.

«Наши исследования показывают, что Team46 и TaxOff с высокой вероятностью являются одной и той же группировкой, — отмечает Станислав Пыжов, ведущий специалист группы исследования сложных угроз PT ESC TI. — Изученное нами вредоносное ПО запускается только на определённых компьютерах, поскольку ключ для расшифровки основного функционала зависит от параметров системы. Это указывает на целенаправленный характер атак. Применение эксплойтов нулевого дня даёт злоумышленникам возможность эффективно проникать даже в защищённые инфраструктуры».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru