Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Почти треть российских нефтегазовых компаний считают свои ЦОД уязвимыми

Согласно опросу ИТ и ИБ-специалистов российских нефтегазовых компаний, проведенному ГК «Гарда», 39% респондентов считают несанкционированный доступ к информационным и промышленным системам основной угрозой. Наиболее уязвимыми объектами участники исследования назвали центры обработки данных (ЦОД).

Наибольшую обеспокоенность среди специалистов вызывает несанкционированный доступ к системам (39%). Существенно меньшее число респондентов отмечают утечки или повреждение информации (14%) и фальсификацию данных (11%).

Другие угрозы, упомянутые в ходе опроса:

  • Атаки с использованием эксплойтов, червей и троянов – 10%;
  • DDoS-атаки, нарушение правил хранения данных – 7%;
  • Фишинговые атаки – 7%;
  • Атаки типа Man in the Middle (MITM) – 3%;
  • Эксплуатация уязвимостей в сетевых протоколах – 2%.

Наиболее подверженными киберугрозам участники опроса считают:

  • ЦОД (30%) – критически важные узлы инфраструктуры, которые, по мнению специалистов, наиболее уязвимы;
  • Системы управления производственными процессами (ICS/SCADA) (20%);
  • Системы безопасности и аварийного отключения (ESD), а также системы связи и передачи данных (по 15%);
  • Промышленные контроллеры (PLC/DCS), IoT-системы, информационные системы снабжения и логистики, а также системы мониторинга оборудования (по 5%).

Наиболее важными категориями данных для защиты респонденты назвали:

  • ERP-системы и хранимые в них данные – 18%;
  • Промысловые данные и сведения о клиентах, партнерах и дистрибьюторах – по 15%;
  • Данные о хранении и транспортировке, геолого-геофизическая информация – по 12%;
  • Правила и регламенты в области безопасности и охраны труда – 6%;
  • Информация о проверках оборудования – 3%.

Среди ключевых средств информационной безопасности, используемых в нефтегазовых компаниях, респонденты отметили:

  • Межсетевые экраны (NGFW, WAF, DBF, FW);
  • DLP-системы;
  • Системы предотвращения вторжений (IDS/IPS);
  • Антивирусные решения;
  • Криптошлюзы.

Опрос демонстрирует высокий уровень внимания к защите инфраструктуры нефтегазовой отрасли, однако также подчеркивает необходимость дальнейшего развития мер информационной безопасности.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru