ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате
Акция от Infosecurity! Обучайте сотрудников с выгодойПодключайте сервис TRAINING CENTER. Организацию и контроль обучения берем на себя:
• Разработаем индивидуальные шаблоны учебного фишинга.
• Сформируем учебные группы и проведем учебные фишинговые атаки.
• Проконтролируем процесс и определим результаты.

При заключении договора сроком на 1 год и более – сопровождение бесплатно.
Набор и стоимость услуг зависят от количества пользователей, и размер скидки уточняйте у менеджера.

→ Оставить заявку
Реклама. Рекламодатель ООО «ИС», ИНН 7705540400, 18+

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

Росстандарт утвердил ГОСТ по управлению учетными записями и правами доступа

Росстандарт утвердил ГОСТ Р «Системы автоматизированного управления учетными записями и правами доступа». Он вводится в действие с 20 декабря 2024 года.

Над стандартом работали представители 27 компаний отрасли в рамках технического комитета ТК 362 «Защита информации».

В работе над документом приняли участие ГК InfoWatch, «Газинформсервис», «Центр безопасности информации» и Сбертех. Инициатором подготовки отраслевого стандарта выступила группа компаний «Солар». Эксперты подали более 300 рекомендаций, учтенных в финальной версии стандарта.

Новый ГОСТ выступает как составная часть национальных стандартов, разрабатываемых в области идентификации, аутентификации и управления доступом. Документ также учитывает практику защиты информации в финансовых организациях, закрепленную ГОСТами Банка России № 57580-1.2017 и № 57580-2.2018.

Стандарт необходим прежде всего разработчикам систем для идентификации и аутентификации пользователей, решений по управлению доступом (IdM-системы), и компаниям-интеграторам, которые внедряют решения данного класса.

Документ будет востребован среди организаций, планирующих внедрение IdM-решений или уже эксплуатирующих соответствующие платформы. Новый национальный стандарт позволит оценить существующие системы по управлению доступом на соответствие требованиям регуляторов, а также самостоятельно разработать или оценить техническое задание на проект, разработанный интегратором.

ГОСТ содержит рекомендации, как привести различные системы управления доступом к единой модели управления, каким образом построить управление ролевой моделью организации, индивидуальным и групповым доступом и упорядочить процедуры управления доступом.

Туда также вошли положения о контроле соответствия легальным и фактическим правам доступа, эталонной матрице прав доступа пользователей, в том числе для отслеживания несанкционированных изменений учетных записей и прав доступа.

Национальный стандарт определяет меры защиты информации в системах управления учетными записями и правами доступа, которые должны реализовываться с помощью встроенных мер защиты или наложенными средствами. Практическую часть ГОСТ дополняют приложения с типовыми схемами бизнес-процессов по управлению учетными записями и доступом.

«Национальный стандарт позволит выработать требования к IdM-системам на этапе технических заданий по внедрению. Заказчикам в свою очередь будут доступны типовые решения, функции которых будут включены в стандартных функционал платформ подобного класса. Таким образом вендоры, интеграторы и компании смогут снизить трудозатраты на подобные проекты за счет сокращения сроков проектирования и внедрения IdM-решения», − комментирует Дмитрий Бондарь, директор департамента inRights ГК «Солар».

«Система аутентификации пользователей и вообще управление жизненным циклом учетных записей – это одна из основ надежной ИТ инфраструктуры. Это определенно важный документ потому, что с одной стороны, у нас есть рекомендации конкретных вендоров отдельных программных решений, а с другой – зарубежный опыт, где подобные стандарты уже приняты. Но теперь у нас есть и свой стандарт, который, я надеюсь тоже будет развиваться и совершенствоваться вместе со всей индустрией информационной безопасности», − комментирует Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис».

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru