GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

Проведенное в Иллинойсском университете (UIUC) исследование показало, что GPT-4 в комбинации со средствами автоматизации способен эксплуатировать уязвимости одного дня (раскрытые, но без патча), читая их описания. Успех при этом может достигать 87%.

В комментарии для The Register один из соавторов исследования отметил, что подобный ИИ-помощник по пентесту обойдется в $8,8 за эксплойт — почти в три раза дешевле, чем стоят полчаса работы специалиста.

Рабочий агент на основе GPT-4 был создан (PDF) с использованием фреймворка LangChain (с модулем автоматизации ReAct). Код состоит из 91 строки и 1056 токенов для подсказок-стимулов (компания OpenAI попросила их не публиковать, и они предоставляются по запросу).

 

Тестирование проводилось на 15 простых уязвимостях сайтов, контейнеров, Python-пакетов; более половины из них оценены как критические или очень опасные. В двух случаях GPT-4 потерпел неудачу: с CVE-2024-25640 (XSS в платформе для совместной работы Iris) и с CVE-2023-51653 (RCE в системе мониторинга Hertzbeat). Интерфейс Iris оказался слишком сложным для навигации, а разбор дыры в Hertzbeat был выполнен на китайском языке (испытуемый агент понимал только английский).

Примечательно, что, изучая описания уязвимостей, ИИ-инструмент ходил по ссылкам за дополнительной информацией. Данных об 11 целях в ходе обучения ему не предоставили, и по ним эффективность оказалась несколько ниже — 82%. А блокировка доступа к информационным бюллетеням сократила успех до 7%.

Для сравнения университетские исследователи протестировали GPT-3.5, большие языковые модели (БЯМ, LLM) с открытым исходным кодом, в том числе популярную Llama, а также сканеры уязвимостей ZAP и Metasploit. Все они показали нулевой результат. Испытания Anthropic Claude 3 и Google Gemini 1.5 Pro, основных конкурентов GPT-4 на рынке коммерческих LLM-решений, пришлось отложить за отсутствием доступа.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Сбер разработал комплексную модель угроз для ИИ

Эксперты Сбера разработали модель угроз для искусственного интеллекта (включая генеративный ИИ), охватывающую все этапы жизненного цикла таких систем — от подготовки данных до интеграции в приложения.

Документ опубликован на портале киберграмотности Сбера «Кибрарий». Он не привязан к конкретной отрасли и предназначен для оценки потенциальных уязвимостей, адаптации защитных механизмов и минимизации рисков.

В исследовании описаны 70 угроз, связанных с применением как предиктивных, так и генеративных моделей ИИ. Особое внимание уделено рискам, возникающим при использовании генеративных систем, чье распространение стремительно растёт. Для каждой угрозы определены затрагиваемые свойства информации — конфиденциальность, целостность и доступность, а также объекты воздействия, будь то обучающие датасеты или модели с открытым исходным кодом. Модель включает схему взаимодействия таких объектов и их детальное описание.

«Сбер активно применяет технологии искусственного интеллекта в бизнес-процессах и глубоко понимает возникающие угрозы. В ответ на эти вызовы мы создали первую в России модель киберугроз, охватывающую весь спектр рисков, связанных с разработкой и использованием ИИ. Этот документ позволит организациям любой сферы — от финансов до госструктур и промышленности — системно оценивать уязвимости, настраивать защитные меры и снижать возможные потери», — отметил вице-президент Сбера по кибербезопасности Сергей Лебедь.

Ключевые риски при использовании ИИ — это принятие ошибочных решений и утечки данных, использованных при обучении моделей. Кроме того, ИИ активно используют киберпреступные группировки в своих целях.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru