В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

Сотрудники Центра компетенций Национальной технологической инициативы (ЦК НТИ) по большим данным, действующего на базе МГУ, разработали решение для проверки устойчивости ИИ-систем к кибератакам.

Как выяснил RT, платформа предоставляет возможность загрузки моделей машинного обучения в облако, где они в автоматическом режиме проходят тестирование. На выходе пользователь получает не только оценку, но также дообученный вариант, способный исправно работать в условиях различных внешних воздействий и изменений.

Созданное в МГУ решение пригодно для проверки любых систем, построенных на основе нейросетевых языковых моделей. Авторы считают, что их разработка окажется особенно полезной в применении к автопилотам грузовых автомобилей и поездов, системам идентификации по фото, видео, голосу, а также системам распознавания текста в аудиосообщениях: такие ИИ-помощники наиболее часто подвергаются кибератакам.

Команда ЦК НТИ создала прототип сервиса проверки и уже работает с рядом крупных российских клиентов над повышением устойчивости их ИИ-продуктов.

«В последние годы с активным внедрением систем ИИ в повседневную жизнь — например, голосовых банковских помощников, автопилотов, сервисов медицинской диагностики, систем идентификации на транспорте — стало понятно, что тематика устойчивости к атакам скоро станет очень востребована», — отметил Денис Гамаюнов, доцент факультета ВМК МГУ.

По мнению эксперта, в ближайшие годы рынок средств защиты систем ИИ возрастет в несколько раз.

«Безусловно, защита серверов, на которых запущен код ИИ, важна, но злоумышленникам интереснее скорее нарушить, а не прекратить его работу, чтобы тот выдавал некорректные решения, — комментирует Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис». — Например, если хакеры доберутся до обучающей выборки и сумеют добавить в нее свои объекты, то обученная на такой выборке модель будет ошибаться и выдавать неправильные результаты».

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

К 2027 году российский рынок безопасной разработки удвоится

По оценке Центра стратегических разработок, к 2027 году российский рынок безопасной разработки как минимум удвоится, по наиболее оптимистичному прогнозу — вырастет в 5 раз. По итогам 2023 года объем рынка безопасной разработки составил 10-12 млрд рублей.

Основными факторами роста авторы исследования назвали развитие ИТ-отрасли в целом, уход иностранных вендоров и увеличение числа кибератак на госсектор и бизнес.

Последний фактор мотивирует разработчиков просчитывать риски кибербезопасности еще на этапе написания кода. В числе ключевых факторов также геополитическая обстановка и указы президента РФ о переходе на отечественное ПО.

Кроме того, государство оказывает поддержку российским разработчикам. В России действует ряд программ инициатив по развитию софта, субсидируются проекты и инфраструктура для стартапов. Отечественные продукты разработки становятся все более качественными и функциональными, что делает их привлекательными для российских пользователей.

Сдерживающими факторами развития рынка в исследовании ЦСР называются отсутствие альтернатив зарубежным продуктам и ожидание возобновления поставок западного ПО.

Эксперты ЦСР характеризуют российский рынок безопасной разработки как «рынок на стадии становления» без явных лидеров. Но к 2027 году ситуация стабилизируется и определятся основные участники, которые займут свободные ниши программных продуктов. Следующим этапом развития российского рынка станет выход зрелых отечественных решений на зарубежные рынки.

«Мы исходим из сравнительно осторожных оценок на основе анализа открытых источников, опроса экспертов — представителей основных игроков отрасли. По нашим данным, совокупный среднегодовой темп прироста объема российского рынка безопасной разработки варьируется от 12,5% до 37,5%, средневзвешенное значение составляет 24,7%. Показатель сопоставим со среднегодовым темпом роста этого сегмента мирового рынка — 22%», — объяснила Екатерина Кваша, заместитель генерального директора Центра стратегических разработок.

«Вопрос безопасности сегодня принципиально важен при разработке, ведь любое ПО для бизнеса и особенно госсектора сейчас становится целью киберпреступников, — комментирует Илья Поляков, руководитель отдела анализа кода Angara Security. — Спрос на решения для кибербезопасности, на решения для безопасной разработки ПО и на решения, обеспечивающие его безопасную эксплуатацию, продолжает расти. Для российских разработчиков это оптимистичное стечение обстоятельств — у них есть большое пространство для работы. Современное отечественное ПО имеет для нас самих преимущество перед зарубежными аналогами в плане безопасности, так как разрабатывается и проверяется у нас. И в случае соблюдения правильных подходов безопасной разработки снижается риск наличия вредоносного ПО, закладок и т. п. в коде».

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru