ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Осторожно: поддельные фонды обманывают жертв трагедий и войн

Злоумышленники всё чаще используют благотворительность как предлог для обмана. Распространёнными схемами становятся сборы средств на лечение тяжелобольных, а также помощь жертвам природных и техногенных катастроф или боевых действий.

Как отметил в беседе с «Известиями» ведущий аналитик департамента Digital Risk Protection компании F6 Евгений Егоров, поддельные сайты, маскирующиеся под благотворительные организации и фонды, появляются регулярно. Активность мошенников, как правило, приурочена к конкретным информационным поводам: трагическим событиям и праздникам.

«Например, перед Новым годом мы зафиксировали появление нескольких десятков фейковых сайтов якобы благотворительных фондов и НКО. Чтобы похитить деньги и личные данные неравнодушных граждан, мошенники выдают себя не только за организации, но и за их сотрудников или волонтёров», — рассказал Евгений Егоров.

По словам представителя F6, волна фейковых ресурсов, а также групп в мессенджерах и соцсетях, активизировалась после теракта в «Крокус Сити Холле». Повышенную активность злоумышленников также можно наблюдать при сборах средств для военнослужащих и пострадавших в зоне боевых действий.

Эксперт по социотехническому тестированию компании Angara Security Яков Филевский объяснил интерес мошенников к сфере благотворительности тем, что доказать преступный умысел в таких случаях сложно. Кроме того, помощь, как правило, оказывается анонимно и безвозмездно, что затрудняет отслеживание движения средств.

По данным МВД, в 2025 году получила широкое распространение схема, связанная со сбором средств на лечение тяжелобольных. Как сообщает «РИА Новости» со ссылкой на МВД, злоумышленники разворачивают масштабные кампании по сбору пожертвований, после чего объявляют о смерти пациента. Часть собранных средств возвращается клиникой, поскольку лечение не было завершено, и эти деньги становятся доступными для использования. При этом мошенники исчезают из мессенджеров и соцсетей.

Киберэксперт и инженер-аналитик Лаборатории исследований кибербезопасности компании «Газинформсервис» Ирина Дмитриева прогнозирует, что в подобных схемах вскоре начнут использовать полностью вымышленных «больных» с применением технологий дипфейк. Генеративные инструменты позволяют имитировать медицинские документы и результаты обследований, а боты — создавать видимость активности на платформах для сбора средств.

По словам Якова Филевского, аналогичные схемы могут использоваться и при других инфоповодах — стихийных бедствиях, паводках, лесных пожарах, землетрясениях и боевых действиях. Он отметил, что мошенники уже начали создавать поддельные сайты детских домов, хосписов и приютов, копируя дизайн настоящих организаций. Единственное отличие — подставные банковские реквизиты.

Новой тенденцией, по словам Филевского, стали атаки на жертв уже совершённых финансовых афер. Мошенники находят таких людей на тематических форумах и в чатах, предлагая помощь в возврате украденных средств в обмен на «комиссию» или «взнос».

Подобная активность приводит к снижению доверия к благотворительности в целом. Более того, реальные фонды и некоммерческие организации вынуждены работать в условиях ужесточённого регулирования, что требует дополнительных ресурсов.

«Прежде чем переводить деньги благотворительной организации, обязательно проверьте доменное имя сайта через WHOIS-сервисы. Свежая дата регистрации — один из тревожных признаков. Также убедитесь, что реквизиты совпадают с данными, указанными на официальном сайте», — предупреждает Ирина Дмитриева.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru