Компания Vigilant применила теорию информации для борьбы с угрозами

Компания Vigilant применила теорию информации для борьбы с угрозами

Специалисты фирмы намерены применять для противодействия вредоносному программному обеспечению математические методы измерения энтропии. Вычисляя степень неопределенности фрагментов в потоке данных, можно обнаруживать аномалии, которые, в свою очередь, способны указать на присутствие опасных приложений или активности злоумышленников.

Так, если последующий фрагмент полностью предсказуем на основании сведений о предыдущих, то можно говорить, что энтропия в рассматриваемом случае имеет нулевое значение. При равновесном выборе из двух вариантов (как в общеизвестном примере с подбрасыванием монеты) степень случайности соответствует одному биту энтропии, и так далее. В защите информации энтропию можно привлекать, скажем, для оценки надежности паролей: если абсолютно случайное кодовое слово, состоящее из восьми произвольных и ни разу не повторяющихся символов, может характеризоваться 52 битами энтропии, то при использовании определенных слов степень неопределенности пароля снижается в среднем до 18 битов - а, следовательно, взломщик может испробовать не все 252 комбинаций, а лишь наиболее вероятные 218 (существенно снизив тем самым время подбора).

Vigilant, однако, использует энтропию для других целей, а именно - для выявления атипичных образцов данных, которые могут быть соотнесены с вредоносным кодом. Похожая тактика успешно применяется в службах защиты от спама: если одна учетная запись отправляет письма на тысячи адресов, не имеющих никакой явной связи ни с ней, ни друг с другом, то можно с высокой степенью уверенности заключить, что рассылка является нежелательной. Эксперты компании уверены, что расчет показателя энтропии может быть столь же эффективно использован для отсеивания вредоносных объектов (поскольку многие инфекции генерируют случайные имена файлов), а также доменов. В частности, по данным Vigilant, степень неопределенности обычного доменного имени изменяется в пределах от 2,5 до 3,9 битов; следовательно, если энтропия превышает уровень в 4 бита, то перед нами, скорее всего, продукт работы вредоносного генератора случайных имен.

Еще один вариант применения соответствующих расчетов - борьба с программными шпионами, которые используются в долговременных атаках повышенной сложности (APT). Чтобы скрыть факт утечки сведений, шпионы часто шифруют информацию перед ее отправкой хозяину, но при передаче используют стандартный протокол HTTP, а не защищенное соединение. Обычный текст на естественном языке имеет невысокие показатели энтропии (например, для английского языка - от 0,6 до 1,5 бит); напротив, шифртекст по самой своей сущности должен характеризоваться как можно более высокой степенью непредсказуемости. Соответственно, если по обычному исходящему соединению вдруг начинают идти потоки данных с высоким показателем энтропии, то это явственно сигнализирует о попытке передать криптованные сведения - что, в свою очередь, вызывает обоснованные подозрения.

PC World

Письмо автору

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

RSS: Новости на портале Anti-Malware.ru