Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Банк России отложил широкомасштабный запуск цифрового рубля

О переносе сроков запуска цифрового рубля 27 февраля заявила председатель Банка России Эльвира Набиуллина на традиционной встрече с представителями кредитных организаций. Основной причиной отсрочки стала неготовность инфраструктуры большинства банков.

Глава комитета Госдумы по финансовым рынкам Анатолий Аксаков в беседе с «Известиями» оценил, что задержка составит от шести месяцев до года.

По его словам, инфраструктура как регулятора, так и крупнейших банков уже готова к масштабному запуску третьей формы национальной валюты, однако небольшие и средние финансовые организации пока испытывают трудности.

Для таких банков внедрение цифрового рубля потребует значительных инвестиций, при этом ожидаемая отдача остается под вопросом. Основная проблема заключается в сложности разработки востребованных клиентами сервисов.

МВА-профессор бизнес-практики по цифровым финансам РАНХиГС Алексей Войлуков в комментарии для «Известий» отметил, что тестирование проекта уже идет с задержкой примерно на год:

«Проверка платежей с госбюджетом должна была завершиться еще в прошлом году. В 2024-м планировалось протестировать транзакции с физлицами и компаниями. Однако первые пробные операции с Минфином провели лишь в конце января. Переводы с юридическими лицами также начали тестировать с опозданием — только в конце прошлого года».

В комментарии для «Коммерсанта» Войлуков добавил, что на концептуальном уровне остаются нерешенными фундаментальные вопросы, включая соответствие требованиям по противодействию отмыванию преступных доходов и финансированию терроризма. Кроме того, он подчеркнул, что концепция цифрового рубля изначально разрабатывалась программистами, а не экономистами и представителями бизнеса, что привело к возникновению системных проблем.

Председатель Ассоциации участников рынка электронных денег Виктор Достов в беседе с «Коммерсантом» указал на снижение интереса к цифровым валютам со стороны центральных банков. В частности, пилотный проект по внедрению цифрового юаня в Китае развивается медленнее, чем ожидалось. Глава правления ассоциации «Финансовые инновации» Роман Прохоров напомнил, что одним из первых решений Дональда Трампа после избрания стало полное прекращение работы над проектом «цифрового доллара».

Кроме того, использование цифрового рубля сопряжено с рядом рисков. Среди ключевых угроз — снижение конфиденциальности платежей, возможные проблемы с защитой данных, сложность интеграции в банковскую систему и снижение доходности коммерческих банков.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru