Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Эксперты выявили связь между группировками Team46 и TaxOff

По оценке департамента Threat Intelligence экспертного центра безопасности Positive Technologies (PT ESC TI), группировки Team46 и TaxOff представляют собой одну и ту же структуру, а не два отдельных объединения. Об этом свидетельствуют совпадения в используемых ими инструментах, инфраструктуре и тактике атак.

К такому выводу специалисты пришли на основании анализа атаки, произошедшей в марте 2025 года.

В ходе этой кампании злоумышленники попытались эксплуатировать уязвимость CVE-2025-2783 в браузере Chrome — характерный признак деятельности TaxOff. Однако дальнейшее исследование выявило сходство с методами Team46, в частности — почти идентичные PowerShell-скрипты, отличающиеся лишь содержанием «полезной нагрузки».

Обе группировки применяли одинаковые самописные инструменты на базе .NET для разведки: с их помощью собирались скриншоты, списки запущенных процессов и перечни файлов. Все данные передавались по именованному каналу. Кроме того, для управления инфраструктурой использовались домены, оформленные по одному шаблону и маскирующиеся под легитимные онлайн-сервисы.

Для пресечения активности подобных группировок специалисты Positive Technologies рекомендуют использовать системы анализа сетевого трафика, песочницы для изоляции и анализа внешних файлов, а также средства мониторинга и корреляции событий.

«Наши исследования показывают, что Team46 и TaxOff с высокой вероятностью являются одной и той же группировкой, — отмечает Станислав Пыжов, ведущий специалист группы исследования сложных угроз PT ESC TI. — Изученное нами вредоносное ПО запускается только на определённых компьютерах, поскольку ключ для расшифровки основного функционала зависит от параметров системы. Это указывает на целенаправленный характер атак. Применение эксплойтов нулевого дня даёт злоумышленникам возможность эффективно проникать даже в защищённые инфраструктуры».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru