Компания Vigilant применила теорию информации для борьбы с угрозами

Компания Vigilant применила теорию информации для борьбы с угрозами

Специалисты фирмы намерены применять для противодействия вредоносному программному обеспечению математические методы измерения энтропии. Вычисляя степень неопределенности фрагментов в потоке данных, можно обнаруживать аномалии, которые, в свою очередь, способны указать на присутствие опасных приложений или активности злоумышленников.

Так, если последующий фрагмент полностью предсказуем на основании сведений о предыдущих, то можно говорить, что энтропия в рассматриваемом случае имеет нулевое значение. При равновесном выборе из двух вариантов (как в общеизвестном примере с подбрасыванием монеты) степень случайности соответствует одному биту энтропии, и так далее. В защите информации энтропию можно привлекать, скажем, для оценки надежности паролей: если абсолютно случайное кодовое слово, состоящее из восьми произвольных и ни разу не повторяющихся символов, может характеризоваться 52 битами энтропии, то при использовании определенных слов степень неопределенности пароля снижается в среднем до 18 битов - а, следовательно, взломщик может испробовать не все 252 комбинаций, а лишь наиболее вероятные 218 (существенно снизив тем самым время подбора).

Vigilant, однако, использует энтропию для других целей, а именно - для выявления атипичных образцов данных, которые могут быть соотнесены с вредоносным кодом. Похожая тактика успешно применяется в службах защиты от спама: если одна учетная запись отправляет письма на тысячи адресов, не имеющих никакой явной связи ни с ней, ни друг с другом, то можно с высокой степенью уверенности заключить, что рассылка является нежелательной. Эксперты компании уверены, что расчет показателя энтропии может быть столь же эффективно использован для отсеивания вредоносных объектов (поскольку многие инфекции генерируют случайные имена файлов), а также доменов. В частности, по данным Vigilant, степень неопределенности обычного доменного имени изменяется в пределах от 2,5 до 3,9 битов; следовательно, если энтропия превышает уровень в 4 бита, то перед нами, скорее всего, продукт работы вредоносного генератора случайных имен.

Еще один вариант применения соответствующих расчетов - борьба с программными шпионами, которые используются в долговременных атаках повышенной сложности (APT). Чтобы скрыть факт утечки сведений, шпионы часто шифруют информацию перед ее отправкой хозяину, но при передаче используют стандартный протокол HTTP, а не защищенное соединение. Обычный текст на естественном языке имеет невысокие показатели энтропии (например, для английского языка - от 0,6 до 1,5 бит); напротив, шифртекст по самой своей сущности должен характеризоваться как можно более высокой степенью непредсказуемости. Соответственно, если по обычному исходящему соединению вдруг начинают идти потоки данных с высоким показателем энтропии, то это явственно сигнализирует о попытке передать криптованные сведения - что, в свою очередь, вызывает обоснованные подозрения.

PC World

Письмо автору

Подпишитесь на новости

PT Application Firewall получил защиту от атак на LLM

Корпоративному ИИ-ассистенту доверили документы, клиентские данные и доступ к системам. Теперь осталось проследить, чтобы командовать им не начал первый встречный. Positive Technologies разработала LLM Firewall — модуль защиты ИИ-сервисов в составе PT Application Firewall.

По словам компании, он проверяет запросы к языковым моделям и их ответы: ищет попытки обойти ограничения, вытащить системные инструкции, раскрыть конфиденциальную информацию или использовать возможности агента в интересах атакующего.

Одна из целей — противодействие инъекциям в промпт. Вредоносную инструкцию можно отправить боту напрямую или спрятать в документе, который тот обрабатывает. Внешне это обычный текст, а по замыслу — попытка назначить нейросети нового начальника.

Подозрительные обращения модуль позволяет блокировать либо фиксировать для последующего разбора. Отдельно заявлено обнаружение персональных данных, паролей, ключей доступа, а также токсичного и запрещённого контента.

Проверка работает в обе стороны: контролируется и то, что отправляют модели, и то, что она выдаёт пользователю. Секреты могут утечь не только из-за хитрого атакующего, но и благодаря очень старательному сотруднику.

LLM Firewall уже интегрирован в PT AF Cloud. Он подключается к обмену между приложением и моделью через API, совместимый с OpenAI Chat Completions и Responses. Отдельная консоль управления не требуется. В PT AF PRO для развёртывания внутри инфраструктуры заказчика модуль обещают добавить позднее.

Для разных ИИ-сервисов можно задавать свои политики, выбирать мониторинг или блокировку, отдельно настраивать проверку запросов и ответов. События поступают в PT AF для анализа и расследования.

RSS: Новости на портале Anti-Malware.ru