В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

Сотрудники Центра компетенций Национальной технологической инициативы (ЦК НТИ) по большим данным, действующего на базе МГУ, разработали решение для проверки устойчивости ИИ-систем к кибератакам.

Как выяснил RT, платформа предоставляет возможность загрузки моделей машинного обучения в облако, где они в автоматическом режиме проходят тестирование. На выходе пользователь получает не только оценку, но также дообученный вариант, способный исправно работать в условиях различных внешних воздействий и изменений.

Созданное в МГУ решение пригодно для проверки любых систем, построенных на основе нейросетевых языковых моделей. Авторы считают, что их разработка окажется особенно полезной в применении к автопилотам грузовых автомобилей и поездов, системам идентификации по фото, видео, голосу, а также системам распознавания текста в аудиосообщениях: такие ИИ-помощники наиболее часто подвергаются кибератакам.

Команда ЦК НТИ создала прототип сервиса проверки и уже работает с рядом крупных российских клиентов над повышением устойчивости их ИИ-продуктов.

«В последние годы с активным внедрением систем ИИ в повседневную жизнь — например, голосовых банковских помощников, автопилотов, сервисов медицинской диагностики, систем идентификации на транспорте — стало понятно, что тематика устойчивости к атакам скоро станет очень востребована», — отметил Денис Гамаюнов, доцент факультета ВМК МГУ.

По мнению эксперта, в ближайшие годы рынок средств защиты систем ИИ возрастет в несколько раз.

«Безусловно, защита серверов, на которых запущен код ИИ, важна, но злоумышленникам интереснее скорее нарушить, а не прекратить его работу, чтобы тот выдавал некорректные решения, — комментирует Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис». — Например, если хакеры доберутся до обучающей выборки и сумеют добавить в нее свои объекты, то обученная на такой выборке модель будет ошибаться и выдавать неправильные результаты».

Новый Android-шпион ZeroDayRAT следит за экраном и продаётся в Telegram

Специалисты по безопасности мобильных устройств предупреждают о новом шпионском инструменте для Android под названием ZeroDayRAT. Вредоносный набор распространяется через Telegram и позволяет злоумышленникам получить практически полный контроль над заражённым устройством.

По данным исследовательской компании iVerify, ZeroDayRAT представляет собой комплект из вредоносного APK-файла и панели управления.

После установки приложения на смартфон атакующий получает доступ к обширной информации о владельце устройства — от модели телефона и версии ОС до номера телефона и данных сим-карты. Также можно узнать список установленных приложений и просматривать журнал входящих уведомлений.

 

Но на этом возможности не заканчиваются. Инструмент позволяет отслеживать геолокацию в реальном времени, читать СМС-сообщения (включая коды подтверждения), получать данные о зарегистрированных на устройстве аккаунтах, а также подключаться к камере и микрофону. Кроме того, злоумышленник может видеть экран жертвы в режиме онлайн.

Отдельную опасность представляет встроенный кейлоггер, поскольку с его помощью можно перехватывать вводимые данные, включая банковскую информацию. ZeroDayRAT также умеет подменять содержимое буфера обмена, что может использоваться, например, для перенаправления криптовалютных переводов на кошельки злоумышленников.

 

По оценке экспертов, подобный уровень функциональности раньше требовал серьёзных ресурсов и был характерен скорее для инструментов уровня государств. Теперь же доступ к нему можно получить через Telegram. Причём даже если каналы распространения будут заблокированы, уже скачанный комплект позволит злоумышленникам продолжать атаки.

ZeroDayRAT нацелен на устройства под управлением Android — от версии 5.0 Lollipop до Android 16. В отчёте также отмечается, что последние версии iOS потенциально тоже могут быть затронуты, хотя основной фокус сейчас — на Android.

Эксперты напоминают: для заражения требуется установка вредоносного APK-файла. Поэтому главный способ защиты остаётся прежним — не устанавливать приложения из непроверенных источников и не переходить по сомнительным ссылкам, особенно если они ведут за пределы официальных магазинов приложений.

RSS: Новости на портале Anti-Malware.ru