ИИ-механизм Windows Recall не всегда распознает данные кредиток и SSN

ИИ-механизм Windows Recall не всегда распознает данные кредиток и SSN

ИИ-механизм Windows Recall не всегда распознает данные кредиток и SSN

Тестирование ИИ-функции Recall, которую Microsoft вернула в сборки Windows Insiders, показало, что обновление устранило не все проблемы с приватностью. Распознавание персональных и платежных данных иногда отказывает, и они сохраняются в базе.

В ходе испытаний фильтр конфиденциальной информации, дефолтно используемый ИИ-помощником Recall, исправно отработал лишь на страницах платежей двух коммерческих сайтов: скриншот был сделан до ввода данных кредитки (фейковых) или уже после очистки полей.

Однако если эти сведения вместе с учетками записать в Блокнот Windows для последующего копипаста, захват экрана произойдет даже при наличии в тексте явного признака конфиденциальности — названия банковской карты (вслед за номером исследователь вбил «Capital One Visa»).

Такой же результат был получен при заполнении PDF-бланка заявки на кредит в Microsoft Edge, с указанием имени, даты рождения и номера страховки. Как оказалось, в этих случаях Recall не остановит даже ввод номера реальной кредитки пользователя — он все равно зафиксирует его скриншотом и сохранит.

Экспериментатор также создал собственную страницу HTML с полями для ввода платежных данных и четкой подсказкой: «ниже введите данные кредитной карты». После заполнения веб-форма тоже была с успехом отправлена на хранение.

 

В ответ на запрос исследователя о комментарии представитель Microsoft указал на запись о приватности в блоге компании, посвященном Recall Preview:

«Мы обновили Recall, и он теперь детектирует конфиденциальную информацию такую как данные кредитных карт, пароли и персональные идентификаторы. При ее обнаружении скриншот не сохраняется и хранению не подлежит. Мы и далее будет совершенствовать эту функциональность. Если вы нашли данные, которые тоже стоит фильтровать, сообщите об этом через концентратор обратной связи».

Анонс Windows Recall в минувшем мае вызвал бурную дискуссию: появились опасения, что нововведение небезопасно. Фиксируя все действия пользователя на компьютере, дефолтно включенный ИИ-ассистент сохранял такие данные локально в открытом виде, что провоцировало кражу.

В ответ на резкую критику Microsoft изъяла Recall из пробных сборок ОС, предоставляемых по программе Windows Insiders, и пообещала внести исправления. В итоге ИИ-помощник теперь по умолчанию отключен, при каждом запуске требует аутентификации через Windows Hello и старательно шифрует хранимые конфиденциальные данные (последнее тестирование это подтвердило).

Надежность шифрования исследователь не смог оценить, однако в ходе экспериментов ему не удалось без запуска Recall открыть файл базы данных (ukg.db) и файлы из папки со скриншотами (AsymStore). Вместе с тем защита в виде Windows Hello, по его мнению, предоставляет злоумышленникам лазейку.

В тех случаях, когда на вход вместо биометрии установлен четырехзначный ПИН, взлом или кража этого ключа откроет доступ к ИИ-приложению. Его даже можно будет получить удаленно — с помощью TeamViewer.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Сбер разработал комплексную модель угроз для ИИ

Эксперты Сбера разработали модель угроз для искусственного интеллекта (включая генеративный ИИ), охватывающую все этапы жизненного цикла таких систем — от подготовки данных до интеграции в приложения.

Документ опубликован на портале киберграмотности Сбера «Кибрарий». Он не привязан к конкретной отрасли и предназначен для оценки потенциальных уязвимостей, адаптации защитных механизмов и минимизации рисков.

В исследовании описаны 70 угроз, связанных с применением как предиктивных, так и генеративных моделей ИИ. Особое внимание уделено рискам, возникающим при использовании генеративных систем, чье распространение стремительно растёт. Для каждой угрозы определены затрагиваемые свойства информации — конфиденциальность, целостность и доступность, а также объекты воздействия, будь то обучающие датасеты или модели с открытым исходным кодом. Модель включает схему взаимодействия таких объектов и их детальное описание.

«Сбер активно применяет технологии искусственного интеллекта в бизнес-процессах и глубоко понимает возникающие угрозы. В ответ на эти вызовы мы создали первую в России модель киберугроз, охватывающую весь спектр рисков, связанных с разработкой и использованием ИИ. Этот документ позволит организациям любой сферы — от финансов до госструктур и промышленности — системно оценивать уязвимости, настраивать защитные меры и снижать возможные потери», — отметил вице-президент Сбера по кибербезопасности Сергей Лебедь.

Ключевые риски при использовании ИИ — это принятие ошибочных решений и утечки данных, использованных при обучении моделей. Кроме того, ИИ активно используют киберпреступные группировки в своих целях.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru