ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

4,2 млн хостов открыты для атак из-за уязвимых протоколов туннелирования

Протоколы туннелирования IP in IP и GRE не предусматривают аутентификации и шифрования трафика и потому уязвимы к злоупотреблениям. Сканирование Сети выявило более 4,26 млн хостов, не использующих дополнительной защиты вроде IPSec.

Как выяснила команда Top10VPN, эти роутеры и серверы принимают сетевые пакеты без проверки отправителя. Это открывает возможность для спуфинга (подмены IP-адреса) с целью вброса вредоносного трафика в туннель.

data:image/svg+xml;utf8,<svg xmlns="http://www.w3.org/2000/svg" version="1.1" viewBox="0 0 68 48"><path fill="%23f00" fill-opacity="0.8" d="M66.52,7.74c-0.78-2.93-2.49-5.41-5.42-6.19C55.79,.13,34,0,34,0S12.21,.13,6.9,1.55 C3.97,2.33,2.27,4.81,1.48,7.74C0.06,13.05,0,24,0,24s0.06,10.95,1.48,16.26c0.78,2.93,2.49,5.41,5.42,6.19 C12.21,47.87,34,48,34,48s21.79-0.13,27.1-1.55c2.93-0.78,4.64-3.26,5.42-6.19C67.94,34.95,68,24,68,24S67.94,13.05,66.52,7.74z"></path><path d="M 45,24 27,14 27,34" fill="%23fff"></path></svg>

Выявленные схожие уязвимости получили следующие идентификаторы:

Эксплойт осуществляется отправкой инкапсулированного пакета с двумя IP-заголовками. По получении уязвимый хост автоматом перенаправит его указанному получателю; поскольку источник (IP-адрес) изменился и более не вызывает подозрений, вредоносное послание имеет все шансы обойти сетевые фильтры.

В интернете обнаружено свыше 4,26 млн уязвимых хостов, поддерживающих туннелирование. Это серверы VPN и CDN, домашние и магистральные роутеры, шлюзы мобильных сетей, которые в случае взлома можно использовать для проксирования вредоносного трафика, проведения DDoS-атак или получения доступа к приватным сетям.

 

Исследователи сообщили о своих находках в координационный центр CERT при университете Карнеги – Меллона (CERT/CC) с тем, чтобы запустить оповещение затронутых провайдеров и укрепление защиты хостов.

По словам Top10VPN, на уровне хоста ситуацию можно исправить, добавив IPSec либо WireGuard и запретив прием инкапсулированных пакетов из недоверенных источников. Защититься от эксплойта на сетевом уровне помогут фильтрация трафика (роутеры и промежуточные устройства), системы DPI, а также блокировка нешифрованных пакетов в туннелях.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru