ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате
Акция от Infosecurity! Обучайте сотрудников с выгодойПодключайте сервис TRAINING CENTER. Организацию и контроль обучения берем на себя:
• Разработаем индивидуальные шаблоны учебного фишинга.
• Сформируем учебные группы и проведем учебные фишинговые атаки.
• Проконтролируем процесс и определим результаты.

При заключении договора сроком на 1 год и более – сопровождение бесплатно.
Набор и стоимость услуг зависят от количества пользователей, и размер скидки уточняйте у менеджера.

→ Оставить заявку
Реклама. Рекламодатель ООО «ИС», ИНН 7705540400, 18+

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

В России заработала платформа Kaspersky Cybersecurity Training

Анонсирован запуск русскоязычной платформы Kaspersky Cybersecurity Training, на которой специалисты по ИТ и ИБ смогут оттачивать свои навыки с помощью онлайн-курсов, разработанных в «Лаборатории Касперского».

Программы обучения, в том числе самостоятельного, также будут полезны организациям, желающим расширить компетенции своих безопасников. Ранее тренинги Kaspersky были доступны лишь на английском языке.

Представленные на платформе курсы разнообразны и рассчитаны на разные уровни подготовки. На русском языке представлены популярный тренинг «Техники продвинутого анализа вредоносного ПО» и новый — «Безопасная разработка программного обеспечения».

Последний будет расширяться, а пока охватывает следующие темы:

  • основы и жизненный цикл безопасной разработки, опыт реализации и внедрения, основные практики и инструменты;
  • подходы к моделированию киберугроз и проектированию архитектуры продуктов;
  • основы OWASP, интеграция инструментов и проектов OWASP в процессы разработки;
  • безопасная разработка на С/C++, с подробным разбором образцов кода; рекомендации по предотвращению и исправлению ошибок, приводящих к появлению уязвимостей.

«Онлайн-тренинги “Лаборатории Касперского” для ИБ-экспертов прошли специалисты из более чем 50 стран, — комментирует Антон Иванов, директор Kaspersky по исследованиям и разработке. — Эти курсы использовались в том числе для обучения сотрудников Интерпола. Наше портфолио охватывает разные темы, от базовых знаний по реверс-инжинирингу и написанию правил YARA до продвинутых методов поиска угроз и анализа вредоносного ПО, исследования инцидентов и цифровой криминалистики. Теперь они стали доступнее для русскоязычных специалистов».

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru