Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Минцифры РФ определилось с регламентом обезличивания персональных данных

Минцифры России доработало проект постановления, определяющего правила и методы обезличивания персональных данных, а также соответствующие требования к операторам ПДн, которые должны вступить в силу с сентября этого года.

Документ «Об установлении требований к обезличиванию персональных данных, методов и правил обезличивания персональных данных» опубликован на Федеральном портале проектов нормативных правовых актов.

Проект постановления правительства подготовлен в рамках реализации закона об обезличенных данных (N 233-ФЗ), принятого прошлым летом. Закон предусматривает формирование наборов обезличенных ПДн и создание защищенной системы для хранения и обработки такой информации (ФГИС).

По замыслу, бизнес и госструктуры будут передавать персональные данные в ГИС в обезличенном виде по запросу Минцифры. После формирования датасетов с ними можно будет работать в пределах контура ГИС с целью решения задач государственной важности либо проблем, представляющих научный интерес.

Порядок обезличивания персональных данных, согласно проекту постановления правительства в текущей редакции:

  1. Формирование требования о предоставлении данных осуществляет Минцифры на основании материалов исследований.
  2. Материалы исследования должны содержать обоснование запроса.
  3. Материалы исследований направляются на рассмотрение в федеральный орган, уполномоченный в области обеспечения безопасности.
  4. Запрос на предоставление данных направляется на согласование уполномоченным по безопасности, защите прав субъектов персданных, Банку России (рассмотрение до 15 календарных дней). В особых случаях Минцифры может направить оператору запрос без согласования.
  5. Оператор при получении запроса осуществляет обезличивание с использованием специализированного софта Минцифры (бесплатного).
  6. Процедура обезличивания персональных данных должна обеспечивать возможность внесения изменений и дополнений, а также повторного обезличивания без отката к исходному виду.
  7. По завершении обезличивания оператор подписывает данные усиленной квалифицированной электронной подписью и передает в ГИС Минцифры.

Что касается методов обезличивания персональных данных, регулятор предлагает утвердить их следующим образом:

  • введение идентификаторов — замена части сведений идентификаторами с созданием таблицы соответствия исходным данным;
  • изменение состава или семантики данных, в том числе путем замены или удаления части сведений;
  • декомпозиция — разбиение массива персональных данных на части с раздельным хранением;
  • перемешивание — перестановка записей и групп записей в массиве;
  • преобразование — агрегация данных через обобщение, например, по качественным и количественным значениям (атрибутам).

Операторы персональных данных должны будут соблюдать эти правила и методы, принять меры по защите ПДн и очистке от закрытой информации, обеспечить раздельное хранение ПДн и обезличенных данных, а при загрузке их в ГИС применять алгоритмы и софт, гарантирующие сохранность и целостность.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru