Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

ФСТЭК России насчитала более тысячи уязвимостей в государственных системах

Согласно данным Федеральной службы по экспортному и техническому контролю России (ФСТЭК), в государственных информационных системах обнаружено около 1200 уязвимостей, большинство из которых имеют критический или высокий уровень опасности.

Об этом сообщил заместитель директора ФСТЭК Виталий Лютиков, выступая на «ТБ Форуме».

По данным ведомства, почти половина (47%) объектов критической информационной инфраструктуры (КИИ) — включая банки, операторов связи и промышленные предприятия — находятся в критическом состоянии с точки зрения киберзащиты. Еще у 40% уровень защищенности остается низким, и лишь 13% соответствуют минимально приемлемым требованиям безопасности.

Заместитель главы регулятора также отметил, что в 100 государственных информационных системах выявлены уязвимости, известные ФСТЭК уже несколько лет. Среди ключевых проблем он назвал отсутствие многофакторной аутентификации и наличие критических уязвимостей в системах периметровой защиты.

Лидер практики управления уязвимостями Positive Technologies Олег Кочетов в комментарии для «Коммерсанта» подчеркнул:

«Во многих компаниях уязвимости остаются неустраненными годами. Эти слабые места привлекают злоумышленников, позволяя им проникнуть в систему, закрепиться в ней и незаметно готовить кибератаку».

Однако полностью устранить все уязвимости в короткие сроки практически невозможно, поэтому ключевым фактором остается их грамотная приоритизация.

«Сломанный замок на входной двери — это уязвимость, но она не гарантирует взлом и кражу: доступ в подъезд может быть ограничен, а вахтер — контролировать вход. Конечно, замок следует починить, но не всегда срочно», — привел аналогию заместитель генерального директора группы компаний «Гарда» Рустэм Хайретдинов.

По его словам, устранение уязвимостей требует технологического окна, то есть полной остановки системы, что в условиях круглосуточного сервиса зачастую затруднительно. При этом установка всех обновлений одновременно также неэффективна.

В то же время руководитель центра компетенций Innostage Виктор Александров отметил, что в государственных информационных системах нередко отсутствуют выстроенные процессы управления уязвимостями, методики их выявления и регулярные проверки.

Вчера мы также писали, что ФСТЭК России подготовила новый свод требований по защите информации, который вступит в силу в марте 2026 года. Документ охватывает государственные информационные системы, а также системы других государственных органов, унитарных предприятий и учреждений.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru