На рынок вышла платформа управления безопасной разработкой МТС RED ASOC

Вопросы доверия и безопасности сервисов искусственного интеллекта являются наиболее сложными при внедрении инструментов с ИИ в промышленную эксплуатацию. К такому выводу пришли участники пленарной дискуссии на Открытой конференции Института системного программирования РАН им. В. П. Иванникова.

Первым данную проблему обозначил заместитель министра цифрового развития, связи и массовых коммуникаций Александр Шойтов.

По его словам, она начала возникать по мере того, как внедрение ИИ начало переходить от ограниченных пилотов к масштабным внедрениям, особенно в таких сферах, как государственные информационные системы и все, что связано с работой на объектах, отнесенных к сфере критической информационной инфраструктуры.

Решение данной проблемы, как подчеркнул Александр Шойтов, требует совместных усилий разработчиков, научного сообщества и органов власти. При этом он напомнил о задаче, поставленной высшим руководством страны, добиться того, чтобы регулирование не являлось тормозом для развития технологий, что влечет риск технологического отставания от передовых стран.

Другим риском, по мнению Александра Шойтова, является усложнение внедрения данных технологий из-за завышенных, труднореализуемых и дорогостоящих мер по защите. Другой проблемой является интерпретация результатов, которые выдает ИИ.

Как отметил заместитель министра цифрового развития, основные риски уже определены, как и методы их компенсации. Это прежде всего использование доверенных и безопасных фреймворков, а также обезличивание данных (персональных в первую очередь).

Генеральный директор Национального технологического центра цифровой криптографии Игорь Качалин назвал основной задачей преодоление ситуации, когда инструментарий, использующий ИИ, является «черным ящиком», принцип работы которого непонятен.

Актуальной задачей остается регулирование так называемых дипфейков, и реальные шаги по ее решению Александр Шойтов анонсировал на ближайшее время. Вице-президент ПАО «Транснефть» Андрей Бадалов назвал эту технологию уже широко применяемой злоумышленниками в ходе целевых атак на персонал, особенно в ходе целевого фишинга или при реализации схемы «фейк-босс». Данные техники применяются для получения необходимых злоумышленникам данных в компании.

Андрей Бадалов назвал одной из важнейших задач обеспечение качества данных. Это касается как тех наборов данных, на которых обучают нейросети, так и тех, с которыми ИИ работает. Однако Андрей Бадалов выразил уверенность, что данную проблему удастся решить. Игорь Качалин на 2025 год анонсировал появление сервисов, направленных на защиту передаваемых данных от искажений и подмены.

Заместитель министра энергетики Эдуард Шереметцев назвал сложной проблемой также хранение и передачу данных, которых отрасль накапливает 3 эксабайта за один день. Кроме того, он обозначил проблему разделения ответственности между теми, кто ИИ разрабатывает и кто эксплуатирует: нельзя привлекать к ответственности оператора, который принял решение на основании полученных от аналитической системы данных, за которыми стоит ошибка в алгоритме или уязвимость. Александр Шойтов анонсировал начало большой работы в данном направлении уже в начале 2025 года.

Начальник 2 управления ФСТЭК России Дмитрий Шевцов напомнил, что ИИ и машинное обучение давно используются в средствах защиты информации. Без них невозможно выявление вредоносной активности. Он выразил уверенность, что многие проблемы можно решить через внедрение технологий безопасной разработки.

Тут большую роль может сыграть Консорциум безопасной разработки ИИ, созданный в мае 2024 года. Число его участников уже достигло 12, а уже в январе, как анонсировал Александр Шойтов, к нему присоединится еще 16 компаний и организаций.