Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Россиянам не придется платить по кредитам, взятым по требованию мошенников

Введение «периода охлаждения» при оформлении кредитов позволит заемщикам отказаться от выплат по займам, если они были получены в результате мошенничества. Однако для этого необходимо возбуждение уголовного дела.

Как сообщил газете «Известия» глава думского комитета по финансовому рынку Анатолий Аксаков, в настоящее время прорабатываются механизмы взаимодействия Банка России с правоохранительными органами.

До 1 сентября, когда закон вступит в силу, банки и микрофинансовые организации (МФО) должны усовершенствовать свои системы безопасности и усилить проверку заемщиков. В случае, если финансовая организация не провела должную проверку, а по факту мошенничества возбуждено уголовное дело, кредитные обязательства клиента будут аннулированы.

В пресс-службе ВТБ поддержали новую норму, отметив, что она повысит уровень защиты заемщиков и укрепит их доверие к банковским продуктам. В банке также считают, что снижение уровня мошенничества положительно скажется на качестве кредитных портфелей, сократив долю проблемных кредитов.

По мнению управляющего по анализу банковского и финансового рынков ПСБ Дмитрия Грицкевича, это нововведение станет стимулом для банков внедрять более совершенные системы скоринга.

Он отмечает, что доля кредитов, оформленных под воздействием мошенников, невелика, поэтому серьезных финансовых потерь банки не понесут. Грицкевич также выразил надежду на эффективность механизма кредитного самозапрета, который станет доступен с 1 марта.

Однако руководитель аудиторско-консалтинговой компании «Юстиком» Ирина Кузнецова предупреждает, что аннулирование кредита возможно только при возбуждении уголовного дела. В противном случае заемщик будет обязан его погасить. Эксперт также выразила опасение, что новая норма может стать объектом злоупотреблений со стороны недобросовестных граждан, стремящихся избежать выплат.

Бизнес-юрист Макс Лоумен сомневается, что многие пострадавшие от мошенников смогут воспользоваться этим механизмом. Главным препятствием, по его мнению, станет сложность возбуждения уголовного дела, которое в подобных случаях не открывается автоматически. Более того, в ряде ситуаций доказать факт мошенничества будет крайне затруднительно.

Главный аналитик Neomarkets Олег Калманович видит ряд сложностей в реализации новой нормы. Во-первых, по его словам, суд может заблокировать похищенные средства, и они окажутся недоступны для всех сторон на длительный срок. Уголовные дела могут рассматриваться годами. Во-вторых, остается открытым вопрос: с кого именно будут взыскивать ущерб?

Если с мошенников, это может оказаться утопичной затеей — им могут выставить многомиллионные счета, но фактически вернуть деньги практически невозможно. Если же финансовые претензии будут предъявлены дропам (посредникам, сознательным или невольным), это может привести к затяжным судебным разбирательствам и встречным искам, где они также попытаются доказать свою невиновность.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru