При внедрении ИИ вопрос доверия и безопасности стал ключевым

При внедрении ИИ вопрос доверия и безопасности стал ключевым

При внедрении ИИ вопрос доверия и безопасности стал ключевым

Вопросы доверия и безопасности сервисов искусственного интеллекта являются наиболее сложными при внедрении инструментов с ИИ в промышленную эксплуатацию. К такому выводу пришли участники пленарной дискуссии на Открытой конференции Института системного программирования РАН им. В. П. Иванникова.

Первым данную проблему обозначил заместитель министра цифрового развития, связи и массовых коммуникаций Александр Шойтов.

По его словам, она начала возникать по мере того, как внедрение ИИ начало переходить от ограниченных пилотов к масштабным внедрениям, особенно в таких сферах, как государственные информационные системы и все, что связано с работой на объектах, отнесенных к сфере критической информационной инфраструктуры.

Решение данной проблемы, как подчеркнул Александр Шойтов, требует совместных усилий разработчиков, научного сообщества и органов власти. При этом он напомнил о задаче, поставленной высшим руководством страны, добиться того, чтобы регулирование не являлось тормозом для развития технологий, что влечет риск технологического отставания от передовых стран.

Другим риском, по мнению Александра Шойтова, является усложнение внедрения данных технологий из-за завышенных, труднореализуемых и дорогостоящих мер по защите. Другой проблемой является интерпретация результатов, которые выдает ИИ.

Как отметил заместитель министра цифрового развития, основные риски уже определены, как и методы их компенсации. Это прежде всего использование доверенных и безопасных фреймворков, а также обезличивание данных (персональных в первую очередь).

Генеральный директор Национального технологического центра цифровой криптографии Игорь Качалин назвал основной задачей преодоление ситуации, когда инструментарий, использующий ИИ, является «черным ящиком», принцип работы которого непонятен.

Актуальной задачей остается регулирование так называемых дипфейков, и реальные шаги по ее решению Александр Шойтов анонсировал на ближайшее время. Вице-президент ПАО «Транснефть» Андрей Бадалов назвал эту технологию уже широко применяемой злоумышленниками в ходе целевых атак на персонал, особенно в ходе целевого фишинга или при реализации схемы «фейк-босс». Данные техники применяются для получения необходимых злоумышленникам данных в компании.

Андрей Бадалов назвал одной из важнейших задач обеспечение качества данных. Это касается как тех наборов данных, на которых обучают нейросети, так и тех, с которыми ИИ работает. Однако Андрей Бадалов выразил уверенность, что данную проблему удастся решить. Игорь Качалин на 2025 год анонсировал появление сервисов, направленных на защиту передаваемых данных от искажений и подмены.

Заместитель министра энергетики Эдуард Шереметцев назвал сложной проблемой также хранение и передачу данных, которых отрасль накапливает 3 эксабайта за один день. Кроме того, он обозначил проблему разделения ответственности между теми, кто ИИ разрабатывает и кто эксплуатирует: нельзя привлекать к ответственности оператора, который принял решение на основании полученных от аналитической системы данных, за которыми стоит ошибка в алгоритме или уязвимость. Александр Шойтов анонсировал начало большой работы в данном направлении уже в начале 2025 года.

Начальник 2 управления ФСТЭК России Дмитрий Шевцов напомнил, что ИИ и машинное обучение давно используются в средствах защиты информации. Без них невозможно выявление вредоносной активности. Он выразил уверенность, что многие проблемы можно решить через внедрение технологий безопасной разработки.

Тут большую роль может сыграть Консорциум безопасной разработки ИИ, созданный в мае 2024 года. Число его участников уже достигло 12, а уже в январе, как анонсировал Александр Шойтов, к нему присоединится еще 16 компаний и организаций.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

Платформа Security Vision получила новую функциональность

Вышел новый релиз платформы Security Vision 5. Обновления коснулись всех продуктов бренда в части работы с данными, функциональности интерфейса, управления рабочими процессами и виджетами.

Отображение данных и изменения интерфейса

Расширены возможности настройки и персонализации интерфейса, а также настройки отображения данных. Эти изменения упрощают работу с информацией, повышают удобство интерфейса, улучшают пользовательский опыт и количество кликов при кастомизации:

  • для различных типов появились возможности добавления описаний и выбора переменных в качестве отображаемого значения;
  • в настройках полной и краткой карточек типов объектов системы и справочников появилась функция копирования вкладок;
  • появилась возможность отключать отображение полной карточки объектов или справочников;
  • при отсутствии данных в истории объекта/справочника появилась возможность отображать картинку-заглушку;
  • добавлен переключатель для свойства да/нет в форму вывода, а для числовых типов свойств (дробное число, целое число, большое целое число и др.) – опция «Разделять тысячи»;
  • для свойств объекта в форме ввода появилась возможность создавать представления дерева;
  • в процесс сохранения карточки перед выполнением действия добавлена соответствующая настройка;
  • для представления в виде «Дерево+таблица» доработано отображение, так что теперь после открытия по умолчанию отображаются данные первого элемента в дереве;
  • созданы новые UI для редакторов правил корреляции, типов событий и отображений событий, входных параметров дашборда, истории запуска коннекторов по расписанию, библиотеки виджетов и страницы авторизации;
  • улучшена работа фильтров и условий отображения вкладок в редакторе отчетов;
  • в список преобразований добавлена группировка по типу, так что найти нужное преобразование стало проще.
  • в виджете типа «Карта» теперь можно настроить отображение объектов не только в виде иконок, но также в виде индикатора. Доступны настройки данного индикатора, аналогичные одноименному типу виджета.

Управление рабочими процессами и автоматизация действий

Новый редактор рабочих процессов расширил свой функционал, а преобразование данных включает больше возможностей для работы с массивами данных и их архивацией:

  • для поддержки рабочего календаря добавлена возможность расчёта количества рабочих дней;
  • в расписаниях рабочих процессов появилась опция по созданию нового экземпляра для каждого отобранного объекта;
  • для рабочих процессов в целом добавлены мини-карта в редакторе и ссылки на помощь в модальных окнах, интерактивная пользовательская инструкция по-прежнему «вшита» в инсталляцию;
  • в формулы добавлены возможности вычисления медианного значения и МОДЫ для массива значений;
  • для действий в таблицах свойств добавлена возможность сменить контекст запуска рабочего процесса на элемент таблицы и опция для источника значений «Свойство для строк»;
  • в расписаниях запуска коннекторов и действие процессов добавлена возможность переопределять данные внутри конфигурации заданного (или переопределенного) сервиса коннекторов;
  • для коннектора типа «Файл» добавлена опция архивирования (ZIP, GZIP, BZIP2, TAR) при сохранении;
  • проведена доработка взаимодействия компонентов через API: добавление флагов включения проверки сертификатов.

Аналитический движок, виджеты, дашборды и отчёты

Кастомизируемый аналитический движок платформы позволяет формировать различные представления данных как в интерактивном режиме (для виджетов и дашбордов), так и при выгрузке в виде файлов. Обновления функционала затронули новые возможности визуализации и атомарной настройки, благодаря чему улучшилась логика работы с формами ввода\вывода в отчетах и различными виджетами интерактивных дашбордов.

  • добавлен новый тип виджета «Индикатор» с отображением объектов на Карте и выгрузкой отчётов в форматах xlsx, docx и pdf;
  • для свойства «Ссылка на объект системы» с формой вывода типа «Иконка» реализована интерпретация в текст при экспорте табличного представления в CSV;
  • для виджеты «Последовательность» (Timeline) добавлена настройка горизонтального и вертикального выравниваний;
  • для «Линейного графика» появилась возможность убирать толщину линии;
  • в виджетах «Порядковый номер» (RowNumber) добавлен тип результата блока и «Агрегация» по медиане и МОДУ;
  • в библиотеке отчётов продуманы различные варианты отображения: 25, 50, 100 элементов (25 по-умолчанию).
  • в виджетах в результатах блока теперь можно использовать тип результата «Порядковый номер», с помощью которого можно автоматически пронумеровать все строки таблицы в одноименном типе виджета. Также в результате блока теперь доступны настройки агрегации «Медианное значение» и «Мода». Функция «Мода» позволит вычислить в исходных данных значение, которое повторяется наибольшее количество раз по сравнению с любым другим значением.

Общие обновления

Другие обновления затрагивают справочники, ролевую модель, безопасность хранения паролей и возможности обработки данных, включая различные преобразования данных из внешних систем (обработчик событий):

  • для справочника ролей добавлена возможность гибкой настройки условий доступности административных действий пользователей;
  • для локальных пользователей платформы продумана возможность хранения только хэшей шифрованных паролей;
  • в системные настройки добавлены возможности проверки соединения в настройках LDAP серверов и удаления истории запуска коннекторов и статистики по полученным событиям (включая другие типы источников);
  • в преобразовании переменных «Кодировать/декодировать строку» добавлена новая опция HTML санитайзер. Данная опция позволяет очищать полученный код HTML от потенциально вредоносных элементов, которые могут реализовывать XSS атаки.

При разработке обновлений специалисты Security Vision учли требования и пожелания, полученные от пользователей. Компания выражает признательность за обратную связь и участие в развитии своих решений.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru