Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Сбер разработал комплексную модель угроз для ИИ

Эксперты Сбера разработали модель угроз для искусственного интеллекта (включая генеративный ИИ), охватывающую все этапы жизненного цикла таких систем — от подготовки данных до интеграции в приложения.

Документ опубликован на портале киберграмотности Сбера «Кибрарий». Он не привязан к конкретной отрасли и предназначен для оценки потенциальных уязвимостей, адаптации защитных механизмов и минимизации рисков.

В исследовании описаны 70 угроз, связанных с применением как предиктивных, так и генеративных моделей ИИ. Особое внимание уделено рискам, возникающим при использовании генеративных систем, чье распространение стремительно растёт. Для каждой угрозы определены затрагиваемые свойства информации — конфиденциальность, целостность и доступность, а также объекты воздействия, будь то обучающие датасеты или модели с открытым исходным кодом. Модель включает схему взаимодействия таких объектов и их детальное описание.

«Сбер активно применяет технологии искусственного интеллекта в бизнес-процессах и глубоко понимает возникающие угрозы. В ответ на эти вызовы мы создали первую в России модель киберугроз, охватывающую весь спектр рисков, связанных с разработкой и использованием ИИ. Этот документ позволит организациям любой сферы — от финансов до госструктур и промышленности — системно оценивать уязвимости, настраивать защитные меры и снижать возможные потери», — отметил вице-президент Сбера по кибербезопасности Сергей Лебедь.

Ключевые риски при использовании ИИ — это принятие ошибочных решений и утечки данных, использованных при обучении моделей. Кроме того, ИИ активно используют киберпреступные группировки в своих целях.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru