Ключевые факторы эффективной обработки и анализа TI-данных (Threat Intelligence)

В условиях беспрерывного развития хакерских группировок, их техник и тактик поведения любой компании крайне важно быть в курсе актуального для неё ландшафта киберугроз. Расскажем, как собрать информацию о киберугрозах и как с ней работать.

 

 

 

 

 

 

1. Введение
2. Способы представления TI различных уровней
3. Краеугольные подводные камни TI-отчётов
4. Возможности автоматизации (разбор отчётов с помощью ИИ)
5. Работа с собранными TI-данными
6. Выводы

Введение

Предыдущий год показал, насколько простыми и в то же время изощрёнными могут быть способы кибератак. Для защиты от них необходимо знать методы атакующих и принципы работы вредоносных программ; опираясь на эти знания, разрабатывать детекты для СЗИ, изменять и улучшать бизнес-процессы компании, внедрять необходимые методологические и технические способы защиты.

Переформулировав известную фразу «Кто владеет информацией, тот владеет миром», можно сказать: «Тот, кто владеет наиболее полной информацией о методах и способах кибератак, способен выстроить адекватные механизмы реагирования и защиты своей компании в киберпространстве».

На просторах интернета информации о кибератаках очень много, и, как правило, наиболее полезные сведения содержатся в отчётах о киберугрозах (Threat Intelligence reports, TI-отчёты). Они ценны тем, что аккумулируют информацию, собираемую тысячами экспертов по защите (и не только) по всему миру — своеобразный community driven подход в мире ИБ. О том, как собирать эту информацию, где хранить, как обрабатывать и, самое главное, как не потонуть в огромных её потоках, мы и поговорим в этой статье.

Для компаний Security Vision и RST Cloud работа с информацией Threat Intelligence во всех её форматах и способах организации — одно из ключевых направлений, поэтому мы не понаслышке знаем, с какими «подводными камнями» приходится сталкиваться в процессе работы с TI.

Способы представления TI различных уровней

Все вы хорошо знаете, что TI можно разделить на четыре уровня: технический, тактический, операционный и стратегический.

Вместо того чтобы давать уже набившие оскомину определения этих уровней, мы просто укажем, в каких формах представляется тот или иной уровень.

• Технический — чаще всего это сетевые и хостовые индикаторы компрометации (IoC): IP-адрес, домен, URL, адрес электронной почты, хеш, Mutex и т. д., в машино- и человекочитаемых форматах.
• Тактический — отчёты, сообщения в формате STIX/MISP, содержащие описание тактик, техник и процедур (TTP), используемых хакерскими группировками и вредоносными программами.
• Операционный — отчёты по поведенческим индикаторам (IoA), таким как процессы и прочая динамика в ходе реализации угрозы.
• Стратегический — отчёты по трендам и направлениям развития «хакерской мысли», ретроспективные срезы за некий период.

Если о проблемах работы с техническим TI сказано уже очень много, то вот об особенностях работы с другими уровнями сказано незаслуженно мало. В этом нет ничего странного, ведь в огромной части компаний обработка информации этих уровней идёт исключительно вручную. Давайте посмотрим, почему в век беспилотных автомобилей и ChatGPT TI-аналитики вынуждены применять естественный, а не искусственный интеллект в этой части своей работы.

Краеугольные подводные камни TI-отчётов

Проблема № 1: объёмы информации

Выше мы уже говорили о том, что количество кибератак огромно, а значит, и аналитических материалов, в которых разбирается эта активность, также будет очень много.

 

Рисунок 1. Динамика обработанных TI-отчетов

 

По нашей статистике, одних TI-отчётов тактического и операционного уровней насчитывается более 3500 в год, без учёта выходных и праздников. Это практически 12 отчётов в день, которые предстоит проанализировать. Каждый такой отчёт — от 5 до 15 страниц формата А4, что в общей сложности составляет от 60 до 180 страниц технического текста в сутки.

Адекватно проанализировать такой объём информации — неподъёмная задача для ИБ-специалистов, занимающихся помимо этого ещё и операционными задачами по администрированию и поддержанию имеющегося уровня защищённости компании. Здесь необходима отдельная должность TI-аналитика, и, судя по всему, таких специалистов необходимо больше одного.

Проблема № 2: «приземление отчётов»

Каждый TI-отчёт необходимо проанализировать и провести по следующему процессу:

1. Ознакомиться с отчётом.
2. Понять, насколько он релевантен реалиям именно вашей компании.
3. Выделить из отчёта техники, тактики и процедуры (иногда это не так уж и просто).
4. Перевести описание техник и тактик в логику детектов ваших сетевых и хостовых СЗИ.
5. Реализовать детекты.
6. Имплементировать их в СЗИ.
7. Доработать детекты по результатам их работы в инфраструктуре компании.

Попробуйте подсчитать, сколько человек вам потребуется для реализации этого процесса.

Проблема № 3: компетенции

У TI-отчётов тактического и операционного уровней есть ещё одна неявная особенность: они содержат очень узкоспециализированную информацию, требующую от аналитика широких и глубоких знаний. Так, например, отчёты могут описывать принципы работы криптографических механизмов шифровальщиков. Другой отчёт посвящён реализованному во вредоносной программе командному протоколу. Иной отчёт описывает принципы, которыми пользуется вредоносный объект для обхода детектирования средствами песочниц или антивирусных средств защиты.

Таким образом, для того чтобы понять, о чём же идёт речь в отчёте и насколько он релевантен, TI-аналитик должен обладать большим кругом компетенций, начиная с криптографии и заканчивая архитектурой ОС. А если группировка пользуется методами социальной инженерии и отчёт затрагивает и этот аспект, то понадобится немного разбираться и в психологии.

Проблема № 4: TI-отчёты тактического уровня — это ещё не всё

Мы затронули тему отчётов тактического уровня, но также стоит коснуться и остальных уровней TI.

В результате анализа большого массива отчётов в RST Cloud выделили следующие типы информационных сообщений и их отношение к Threat Intelligence.

 

Таблица 1. Типы информационных сообщений и их отношение к Threat Intelligence

 

Возможности автоматизации (разбор отчётов с помощью ИИ)

 

Рисунок 2. Стадии процесса работы с TI

 

К сожалению, полностью автоматизировать процесс разбора и анализа отчётов с помощью искусственного интеллекта на текущем этапе развития последнего не представляется возможным, но вот упростить жизнь TI-аналитикам — вполне.

В сервисе «CTT Reports Hub» от RST Cloud мы стараемся взять на себя автоматизацию следующих этапов.

Первое — сбор TI. Этот этап охватывает такие операции, как:

1. Отслеживание ресурсов поставщиков TI-отчётов на предмет появления новых сообщений.
2. Фильтрация сообщений и выделение из этого потока именно TI-отчётов средствами алгоритма машинного обучения CatBoost.
3. Первичный автоматический разбор отчёта в виде очистки от рекламы и т. д.

На этапе выделения релевантных отчётов CTT Reports Hub берёт на себя следующие операции:

1. Выделение из текста отчёта названий группировок, вредоносных программ, хакерских утилит, TTP.
2. Выделение упоминаемого легального ПО, сервисов, WinAPI.
3. Поиск SIGMA, YARA-правил, если они есть в тексте.
4. Выделение сетевых и хостовых IoC в теле отчёта.
5. Выделение геоданных.

Иногда быстрого взгляда на описанные выше объекты недостаточно, чтобы понять, насколько отчёт релевантен, и нужно в общих чертах уяснить, что же в нём написано. Здесь бы очень помог краткий реферат по статье.

В CTT Reports Hub для генерации такого реферата применяется сервис ChatGPT. С использованием модели Davinci этого ИИ создаётся реферат объёмом до 900 слов, описывающий ключевые моменты, выделенные из TI-отчёта.

Также TI-отчёты часто содержат ценные схемы атак либо работы вредоносных программ в виде изображений. Один взгляд аналитика на подобную схему может дать ему понимание всей цепочки угроз (kill-chain) даже без погружения во многостраничное тело самого отчёта. В CTT Reports Hub мы предварительно обучили нейронную сеть классификации на изображениях из более чем 3500 TI-отчётов, задействуя библиотеку машинного обучения FastAI.

Работа с собранными TI-данными

На всех этапах работы с TI-отчётами появляется множество ценной информации, такой как IoC, IoA (поведенческие индикаторы), TTP, различные связи, последовательности применения TTP и т. д. Все эти данные крайне важны как на этапе их получения (для немедленного реагирования), так и вдолгую в процессе расследования инцидентов (обогащая их актуальным контентом). Было бы крайне полезным создать из этих данных базу знаний, к которой можно обращаться в любой момент.

Хранить все полученные данные в виде отдельных файлов, заметок и картинок с графами связей — не лучшее решение. Для хранения Threat Intelligence и работы с нею лучше всего использовать специализированные платформы — Threat Intelligence Platforms.

Платформа Security Vision TIP раскладывает отчёты по угрозам в модель, которая отображает весь контекст угрозы в виде связанных структур данных.

 

Рисунок 3. Граф связей между объектами TI

 

Рассмотрим пример на основе отчёта по угрозе эксплуатации уязвимости Follina. TIP представит его в виде связанных данных:

• IP-адреса: x.x.x.x (множество IoC, от которых замечены попытки эксплуатации уязвимости).
• Хеши файлов: «liidfxngjotktx.dll» и др. (множество вредоносных библиотек и файлов, связанных с угрозой).
• Уязвимость: CVE-2022-30190 (с детальным описанием из нескольких агрегаторов и баз знаний).
• CMD: процесс «msdt.exe» от конкретного родителя с нагрузкой (payload), содержащей код PowerShell в base64 (в обычной жизни — вполне легитимный процесс средства диагностики Windows, но в имеющихся условиях — поведенческий признак успешной эксплуатации уязвимости).
• ТTP из матрицы MITRE ATT&CK: «System Owner / User Discovery» (T1033) и др.
• Хакерское ПО: Cobalt Strike (с подробным описанием того, как обнаружить его у себя в инфраструктуре, как минимум в его исходном виде через анализ конфигураций и именованных каналов (named pipes)).
• Бюллетень или сам отчёт, являющийся первоисточником информации.

Платформа решает задачи структуризации данных и дополнительного обогащения ветвистой структуры из аналитических сервисов. Таким образом рождается база знаний, помогающая аналитикам решать проблему ситуационной осведомлённости: случился инцидент — мы можем по его данным (например, по внешним IP-адресам, обращение к которым из скомпрометированной инфраструктуры замечено) догрузить и понять целый пласт важной и, самое главное, актуальной информации.

Мы можем выяснить, что, например, есть признаки присутствия ботнета Qbot C2, и дальше проверить эту гипотезу, сняв дамп памяти, проанализировав ускоритель загрузки (Prefetch), реестр, журнал NTFS. Такой проактивный поиск угроз (Threat Hunting), где гипотезы помогает выдвигать TI, весьма эффективен, потому что гипотезы подгружаются из самых актуальных источников (буквально из вчера опубликованных отчётов Elastic или DFIR либо даже постов о техниках атак из даркнета).

Помимо ситуационной осведомлённости мы говорили выше о проблематике реализации детектов, имплементирования их в СЗИ и последующей перенастройки систем. Это также ключевая задача Security Vision TIP.

Платформы должны не просто агрегировать и предоставлять большие данные TI: они должны уметь автоматизировать поиск индикаторов в оптимизированном виде на потоке «сырых» событий. Загружать этой задачей комплекс управления событиями (SIEM) неразумно: в рамках одной отрасли для одной компании релевантны сотни тысяч индикаторов, и SIEM просто-напросто захлебнётся, будучи и так очень нагружен.

Платформа Security Vision TIP выполняет автодетектирование как в режиме реального времени, так и ретроспективно. Иначе говоря, разобранный отчёт по угрозе пришёл сегодня, но мы будем проверять, не было ли у нас этой угрозы вчера или даже неделю назад (в зависимости от того, сколько мы решим хранить у себя ретроданные).

Найденные индикаторы становятся подозрениями на инцидент. Мы анализируем: если было обращение из вредоносного домена на сервер в «демилитаризованной зоне» (DMZ), то это в принципе нестрашно (частое и распространённое сканирование роботами внешнего периметра), и наше реагирование будет заключаться в передаче из TIP чёрных списков на межсетевой экран; но если мы видим в обнаружении обращение из нашей инфраструктуры на контрольный (С2) домен, критическая значимость инцидента резко повышается и мы уже должны расследовать потенциальное «отстукивание» скомпрометированной машины в командный центр.

 

Рисунок 4. Схема расследования инцидентов с использованием TI

 

Threat Intelligence как технология уже перешла из разряда ажиотажных в разряд прикладных потребностей. Сейчас компании задумываются о том, как наиболее эффективно её применить, не захлебнувшись при этом в огромных потоках информации. И вот вам ответ (актуальный сейчас для многих направлений): автоматизация и ИИ. Пользуйтесь.

Выводы

В открытом доступе хранится и ежедневно публикуется колоссальное количество информации об угрозах, такой как особенности работы вредоносных программ, используемые группировками методы атак и проводимые ими хакерские кампании.

Анализировать вручную такие объёмы данных крайне затруднительно, а полностью автоматизировать этот процесс очень сложно. Однако можно снизить трудозатраты TI-аналитиков, автоматизировав если не весь процесс анализа, то некоторые его части, такие как сбор, очистка, предварительная обработка TI и выделение наиболее релевантной информации.

Хранить такие объёмы TI-аналитики в виде россыпи файлов, работать с ними и особенно обращаться к ним в процессе расследования — очень тяжёлая и трудозатратная задача.

Для работы с TI существует отдельный вид ПО — Threat Intelligence Platform (TIP). TIP позволяют структурировать TI-данные и дополнительно обогащать их новыми сведениями, полученными из внешних аналитических сервисов.

Современные TIP — уже далеко не просто база знаний, но ещё и механизм автоматического детектирования атак на основе IoA и IoC, реализуемого на потоке «сырых» данных, получаемых от СЗИ и инфраструктуры клиента.

В целом сбор знаний, их обработка, хранение и использование в детектировании атак — ключевые элементы процесса работы с Threat Intelligence. Совместное использование продуктов Security Vision и RST Cloud полностью реализует весь процесс работы с TI и значительно повышает качество работы TI-аналитиков, тем самым поднимая планку уровня защищённости компании на новые высоты.

Авторы:

Николай Арефьев, сооснователь RST Cloud

Анна Олейникова, директор по продуктам Security Vision