ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Gorilla: новый Android-вредонос учится воровать и подслушивать

Похоже, у Android-пользователей появился новый «зверь» под капотом — свежевылезший вредонос Gorilla. Пока он как будто только учится пакостить — никакой маскировки, всё на виду. Но даже в таком «юном» состоянии успел напугать специалистов своей функциональностью.

Gorilla, который уже успел привлечь внимание специалистов из Prodaft, написан на Kotlin и первым делом лезет в СМС — просит стать приложением по умолчанию.

Зачем? Чтобы читать, перехватывать и даже отправлять сообщения от вашего имени. А потом ещё и сортирует их по меткам: «Banks», «Yandex» — не к лучшему, правда?

Но не только СМС едины. Малварь запрашивает доступ к номеру телефона, данным сим-карты, списку приложений, модели устройства и даже тому, включён ли экран. Всё это аккуратно улетает операторам по WebSocket’у каждые 10 секунд. Такая вот «связь с центром».

Кстати, на панели управления у злоумышленников каждому заражённому устройству присваивается одна из трёх меток:

  • State Authority — видимо, это «особо интересные» цели,
  • Important — «второй сорт, но пригодны»,
  • Trash — всё остальное.

И это уже тревожный звоночек: возможно, Gorilla готовят не только для краж денег, но и для более серьёзного дела — вроде слежки за госслужащими или активистами.

 

Чтобы не вылетать из памяти, Gorilla запускает себя в фоновом режиме с помощью FOREGROUND_SERVICE и даже просит пользователя отключить для себя оптимизацию батареи. Особенно настойчиво — на устройствах Huawei и Honor, где он ещё и замедляет «сердцебиение» (частоту связи с сервером), чтобы не попасть под зачистку системой.

А ещё внутри кода обнаружили «запасные» функции:

  • WebViewActivity — по сути, это задел для будущих фишинговых атак через фальшивые страницы банков.
  • USSDReceiver — класс, который может активироваться, если набрать специальный код вроде *#0000#. Возможно, это будет использоваться как скрытая команда для активации малвари.

И хотя сейчас Gorilla только разминается, эксперты уверены: потенциал у него большой и явно не в добрую сторону. Перехваты СМС, слежка, хитрые трюки для выживания — в будущем он может стать серьёзным игроком на поле Android-угроз.

Так что включаем паранойю на минималках: дважды проверяем, что ставим, не раздаём права направо и налево и, как всегда — держим защитный софт в боевой готовности.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru