Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Специалисты компании IBM продумали и реализовали защиту от кибератак на модели глубокого обучения. Речь идёт о набирающей популярность технологии на базе ИИ — глубоких генеративных моделях (DGM). DGM позволяют синтезировать данные из сложных массивов.

Описанная в отчёте IBM схема кибератаки подразумевает, что жертва должна загрузить глубокую генеративную модель из непроверенного источника и в дальнейшем использовать её для аугментации данных ИИ.

Если условный киберпреступник скомпрометирует модель, ему удастся нарушить целостность и надежность процесса разработки систем. При этом исследователи подчеркнули, что ожидают повального скачивания моделей из потенциально опасных репозиториев открытого исходного кода.

 

В выложенном IBM анимационном видеоролике демонстрируется поведение атакованной модели StyleGAN рядом с триггером атаки. Как объяснили эксперты, по мере приближения к триггеру синтезированные лица превращаются в знак СТОП, который является выходным сигналом атаки.

 

Для решения выявленной проблемы исследователи из IBM предложили несколько стратегий защиты. Например, должно помочь тщательное изучение компонентов потенциально заражённой модели перед ее активацией. Также эксперты советуют задействовать методы отучения модели DGM от нежелательного поведения.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В Москве тестируют бесплатный ИИ-сервис защиты от кибермошенников

Московский Департамент информационных технологий (ДИТ) предлагает гражданам принять участие в тестировании нового ИИ-инструмента защиты от мошенников, созданного в рамках ИБ-проекта «Перезвони сам».

Специализированный телеграм-бот выполняет проверку текстовых и голосовых сообщений на наличие дипфейков и других признаков обмана. Доступ к нему предоставляется на безвозмездной основе.

«Мы создали бесплатный инструмент, который поможет проверить полученные сообщения, — заявила Валентина Шилина, руководитель проекта «Перезвони сам» столичного ДИТ. — Телеграм-бот анализирует присланные скриншоты переписки, текстовое или голосовое сообщение и помогает определить, есть ли в нем признаки мошенничества. Сервис работает с применением искусственного интеллекта, включая большие языковые модели и технологии оптического распознавания текста и речи».

Выявляя попытки мошенничества, ИИ-анализатор работает по таким сигналам, как эмоциональное давление, манипуляции, просьбы о предоставлении персональных данных или переводе денег. В текстах он также выискивает подозрительные ссылки, в аудиозаписях — признаки синтезированной речи.

По результатам анализа умный бот выводит процент вероятности обмана и основания для подозрений. Пользовательский ввод планируется использовать для обучения ИИ-модели с целью повышения эффективности и пополнения базы знаний о мошеннических схемах.

Новый сервис запущен в пилотном режиме до 27 февраля; получить доступ к телеграм-боту можно по прямой ссылке или с сайта «Перезвони сам». Проверки показали, что текстовые сообщения новый инструмент пока обрабатывает лучше, чем скриншоты документов и аудиофайлы.

 

Отзывы и замечания москвичей принимаются по телефону горячей линии и через форму обратной связи и будут учтены при доработке ИИ-сервиса. Согласно планам, он должен заработать в полном объеме весной.

Московская новинка — далеко не первый ИИ-инструмент киберзащиты, созданный в России. Так, в начале прошлого года была обнародована разработка Кубанского государственного технического университета: Python-софт, использующий ИИ для выявления мошенников в чатах мессенджеров.

А в ноябре стало известно, что ИИ помог российским киберкопам найти и задержать участника группы телефонных мошенников, действовавших на территории Ростовской области.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru