Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

80% увольняющихся пытаются прихватить данные компаний

Согласно статистике, полученной по итогам анализа 230 инцидентов, выявленных при пилотном внедрении DLP-системы Solar Dozor в 2024 году, 8 из 10 увольняющихся сотрудников пытаются забрать доступные им информационные активы, в том числе конфиденциальные данные.

Почти в половине случаев (38%) сотрудники, готовящиеся покинуть компанию, стремятся заполучить сведения о клиентах и партнёрах.

Как отмечают в ГК «Солар», подобные данные являются особенно востребованными и представляют повышенный интерес для конкурентов, которые стараются получить их любыми способами. Для этого нередко используются методы внедрения «своих» сотрудников либо попытки получения информации с помощью манипулятивных техник.

На втором месте по популярности находится интеллектуальная собственность, интерес к которой проявляют 22% увольняющихся сотрудников. В отдельных сегментах рынка, таких как IT, фармацевтика и другие отрасли, где ценность интеллектуальных разработок особенно велика, доля подобных попыток еще выше.

Замыкают тройку лидеров маркетинговые материалы, на которые приходится 18% случаев. Утечка этой информации также способна нанести серьёзный финансовый ущерб организации.

В 14% случаев предметом интереса являются материалы, разработка которых требует значительных трудозатрат. Это локальная нормативная база и другая документация, регулирующая внутренние бизнес-процессы компании. Владение такой информацией существенно повышает ценность сотрудника на новом месте работы.

Еще в 8% случаев сотрудники пытаются вынести любую доступную информацию, не разбирая её ценности. В ГК «Солар» отмечают, что именно данная категория представляет наибольшую угрозу, так как таким образом наружу могут попасть крайне чувствительные конфиденциальные сведения, сам факт утечки которых компания узнаёт лишь тогда, когда информация уже стала публичной.

«Если говорить о каналах вывода данных увольняющимися сотрудниками, то чаще всего используются съемные носители и файлообменные сервисы. Эти каналы позволяют выгружать большие массивы информации, включая архивы документов, конструкторскую документацию и стратегические планы. Важно не только контролировать сами каналы передачи данных, но и отслеживать аномальное поведение сотрудников, особенно в нерабочее время. Например, внезапный рост количества файловых операций или повышенный исходящий трафик в вечернее время могут свидетельствовать о попытках несанкционированного выноса информации», — пояснил Дмитрий Мешавкин, руководитель продукта Solar Dozor ГК «Солар».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru