Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Mozilla меняет курс: Firefox теперь собирает пользовательские данные

Mozilla Foundation решила пересмотреть свои источники дохода и направить Firefox в сторону рекламной модели монетизации. К сожалению, новая политика коснётся пользовательских данных.

В официальном блоге Mozilla приводятся правила, согласно которым «лиса» теперь будет собирать загружаемые пользователями файлы, а также вводимую ими информацию.

«В случае, если вы загружаете или вводите данные с помощью Firefox, вы автоматически предоставляете нам безвозмездную лицензию на использование этой информации», — пишет корпорация.

При этом Mozilla не говорит прямо, что собранные сведения будут использоваться в рекламных целях, однако у пользователей нет возможности отключить эту функциональность.

Положим, вы — музыкант, загружающий свою песню на какой-либо веб-сайт через Firefox. В этом случае, согласно новым правилам, вы передаёте Mozilla право на использование этой музыкальной композиции.

Помимо этого, разработчики «лисы» заявили, что браузер отныне будет собирать уникальные идентификаторы для последующего использования в рекламных целях.

С другой стороны, импонирует позиция Mozilla по поводу поддержки блокировщиков рекламы на Manifest V2. Как мы писали на днях, пользователи Firefox смогут использовать любимые расширения, не опасаясь перехода на Manifest V3.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru