Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Как оказалось, ИИ-бот OpenAI при правильных наводящих вопросах может слить дерево файлов и папок хост-системы, а также плейбук с правилами общения с пользователями. Возможны также загрузка и запуск программ, но только в пределах изолированной среды.

Недокументированные возможности песочницы ChatGPT, грозящие раскрытием конфиденциальной информации, обнаружил эксперт Mozilla Марко Фигероа (Marco Figueroa). Разработчики приняли отчет к сведению, но ужесточать ограничения по доступу не планируют.

В ходе работы над Python-проектом умный помощник выдал исследователю ошибку «directory not found» («каталог не найден»), которая и раскрыла наличие доступа к файловой системе. Заинтересовавшись, Фигероа попросил перечислить файлы, вставив в запрос строку list files (англоязычный аналог Linux-команды ls).

В ответ ChatGPT вывел список файлов и директорий, характерных для Linux: bin, dev, tmp, sys и т. п. Экспериментатор пришел к выводу, что ИИ-бот работал на каком-то дистрибутиве, скорее всего Debian, в контейнерной среде; конфигурационные данные содержались в папке /home/sandbox/.openai_internal/.

Также выяснилось, что расширенный доступ позволяет выполнять действия над файлами: загружать, скачивать, перемещать, запускать на исполнение. Так, Фигероа удалось загрузить и запустить в песочнице простенький Python-скрипт, выводящий на экран приветствие «Hello, World!» (в BleepingComputer поставили такой же опыт со сценарием поиска файлов TXT).

Подобные возможности, по словам эксперта, повышают прозрачность и функциональность, но создают риск злоупотреблений, который, впрочем, смягчает надежная изоляция рабочей среды.

Фигероа также смог, используя инъекцию стимула, скачать плейбук ChatGPT, содержащий директивы по взаимодействию с пользователями. Знакомство с внутренними механизмами ИИ-модели, по мнению эксперта, облегчает внедрение вредоносных подсказок и обход ограничений LLM.

«В документации эти возможности не отражены, — подчеркнул исследователь, комментируя свои находки для Dark Reading. — Полагаю, это просто недоработка проекта. В какой-то момент объявится 0-day, и тогда случится беда».

В ответ на запрос репортера представитель OpenAI заявил, что находки эксперта на уязвимость не тянут, и в подобном поведении ничего неожиданного нет.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

Дипфейки Трампа и Маска активно используют в криптоскаме

Злоумышленники активно используют в рекламе мошеннических крипторесурсов дипфейки с участием медийных персон и политиков. Среди них замечены победитель президентских выборов в США Дональд Трамп, миллиардер Илон Маск, тележурналист Такер Карлсон, сооснователь блокчейн-платформы Ethereum Виталий Бутерин, футболист Криштиану Роналду, модель Ким Кардашьян.

Как отметили в F.A.C.C.T., что значительный рост курса криптовалют в последнюю неделю усиливает риски неудачливых инвесторов, которые польстятся на посулы криптоскамеров. Выручка мошенников за последние 13 месяцев может достигать 16 млн долларов.

Для генерации дипфейковых видео мошенники применяют как бесплатные, так и платные инструменты. В одном из мессенджеров специалисты F.A.C.C.T. обнаружили бот с широким выбором известных персон, который включает политиков, спортсменов, бизнесменов.

Предлагаемые дипфейки рассчитаны на англоязычную аудиторию и генерацию рекламы фейковых криптобирж и платформ обмена криптовалюты для TikTok, YouTube и международных соцсетей. Качество видео при этом имеет заметные изъяны: прежде всего это неестественная мимика.

 

Как отметили в F.A.C.C.T., мошенники используют три схемы: фейковые криптобиржи и обменники криптовалюты, дрейнеры и скам-токены. Сайт фейковой криптобиржи, которых в F.A.C.C.T. обнаружили около 600 с 2022 года, внешне почти ничем не отличается от оригинала.

Однако вывести свои средства потенциальная жертва уже не может, и все усилия злоумышленники тратят на то, чтобы инвестор внес депозит. По схожей схеме работают мошеннические криптовалютные обменники, которых в F.A.C.C.T. насчитали около 70. Рекламируются данные ресурсы через социальные медиа, включая YouTube и зарубежные соцсети.

Дрейнеры представляют собой программные зловреды, направленные на кражу средств с криптокошельков жертв. Задачей злоумышленников является заманить потенциальную жертву на сайт, где происходит заражение. Ссылки на такие ресурсы распространяют по электронной почте, через мессенджеры, рекламу в соцсетях и на видеохостингах.

Схема со скам-токеном построена на том, что созданный злоумышленниками цифровой актив вырастет в цене и его можно будет выгодно продать. На самом деле жертва может только купить токен, но никогда не сможет его продать.

Как показал анализ пяти относительно крупных преступных групп с активным участием русскоязычных мошенников, работающих по схеме с поддельными криптобиржами, для них средняя сумма хищения составляет 233 долл., а самая крупная сумма, украденная у одной жертвы, составила 26 958 долл. Сумма группировок, которая не ограничивается русскоязычной аудиторией, на порядок выше.

«Каждая схема криптоскама имеет свои особенности, которые влияют на её прибыльность, — комментирует Мария Синицына, старший аналитик департамента Digital Risk Protection компании F.A.C.C.T. — В случае с фейковыми криптобиржами жертве не обязательно иметь криптовалюту: её можно «приобрести» на той же бирже и оплатить банковской картой. Это значит, что пользователь потеряет только те деньги, которые решил вложить через биржу. В случае с дрейнерами со счёта жертвы выводят почти все средства из подключенного кошелька. Именно этим можно объяснить различия в средней сумме хищения по разным схемам криптоскама».

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru