Обзор R-Vision SIEM, системы централизованного управления потоками событий

1. Введение
2. Функциональные возможности R-Vision SIEM
   1. 2.1. Сбор событий
   2. 2.2. Нормализация, фильтрация и корреляция событий
   3. 2.3. Управление моделями событий
   4. 2.4. Хранение данных и отправка во внешние системы
   5. 2.5. Поиск по событиям и аналитика
   6. 2.6. Вспомогательные инструменты
3. Архитектура R-Vision SIEM
4. Системные требования R-Vision SIEM
5. Сценарии использования R-Vision SIEM
   1. 5.1. Добавление нового источника событий
   2. 5.2. Пример создания правила корреляции
   3. 5.3. Проверка использования ресурсов
6. Выводы

Введение

В условиях роста количества и сложности кибератак на российские компании и одновременного ужесточения требований в сфере ИБ со стороны государства наличие центра мониторинга и реагирования на инциденты (SOC) становится важным фактором эффективного управления ИБ в организациях. Одним из технологических фундаментов SOC являются SIEM-системы, спрос на которые остаётся высоким. При этом, наряду с преимуществами использования систем данного класса, компании — пользователи SIEM всё чаще сталкиваются с рядом трудностей при работе с ними, в частности — при сборе данных, нормализации событий, масштабировании, а также в процессах создания собственных правил детектирования и учёта ресурсов. В итоге, хотя рынок SIEM уже вполне развит, требования к этой технологии по-прежнему эволюционируют, адаптируясь к изменяющимся запросам рынка и потребностям компаний.

При разработке R-Vision SIEM учитывались трудности, с которым сталкиваются пользователи при работе с существующими SIEM-системами. Таким образом, продукт адаптирован под актуальные потребности компаний и позволяет своевременно реагировать на динамику развития бизнеса.

Функциональные возможности R-Vision SIEM

Сбор событий

Главным компонентом, отвечающим за сбор событий в R-Vision SIEM, является коллектор, который позволяет запускать и администрировать неограниченное количество конвейеров обработки событий. Конвейер представляет собой конфигурацию, описывающую настройки и очерёдность действий над потоком событий, а работа с конвейером осуществляется в графическом интерфейсе.

В интерфейсе управления пользователь может настраивать, расщеплять и приоритизировать потоки событий, конфигурировать и просматривать каждый этап их обработки в единой консоли. Кроме того, система автоматически отображает метрики на каждом этапе обработки в режиме реального времени, что повышает прозрачность и наблюдаемость всего процесса сбора событий.

Рисунок 1. Интерфейс конфигурации конвейера по обработке событий

R-Vision SIEM поддерживает гарантированную доставку полученных событий до хранилищ. Это позволяет не терять события даже во время сбоев и в ряде случаев совсем исключить часть инфраструктурных элементов, типичных для этого класса решений (например, брокеры сообщений). Стоит также отметить, что система обеспечивает высокую производительность обработки событий, которая позволяет значительно экономить на стоимости инфраструктуры.

Кроме того, при совместном использовании R-Vision SIEM с другой технологией экосистемы R-Vision EVO — R-Vision Endpoint (комплексом защиты конечных устройств), — эта связка предоставляет возможность реализовать практически любые сценарии сбора и комплексной обработки событий. 

В настоящий момент R-Vision SIEM поддерживает различные типы источников и протоколы передачи данных:

• типы источников — R-Vision Endpoint, Windows EventChannel, macOS, Linux, WEC, auditd, file, HTTP Server, Socket (TCP / UDP), Syslog, AMQP, Kafka, Logstash;
• протоколы — HTTP, TCP, UDP, AMQP, NFS, FTP, WMI, в т. ч. с опцией включения TLS.

Нормализация, фильтрация и корреляция событий

В R-Vision SIEM конфигурация поточной обработки событий и корреляции основана на языке VRL. Это минималистичный язык программирования, специально разработанный для описания трансформаций данных в системах поточной обработки логов и событий. Он позволяет описывать фильтры, правила нормализации и корреляции простым, безопасным и эффективным способом, а также значительно ускорить разработку контента в сравнении с малокодовыми (low code) решениями, организовать удобную поставку и обновление объектов внутри организации, сообщества или от независимых вендоров. 

Функциональность нормализации даёт возможность распаковывать вложенные форматы событий, токенизировать полученные данные, преобразовывать их с использованием встроенных функций. В продукте возможно применение целого ряда правил нормализации, последовательно или параллельно в рамках одного конвейера обработки событий.

Для защиты от ошибок нормализации исходное событие сохраняется, чтобы потом к нему можно было вернуться. Помогает в этом специальный механизм, который перенаправляет события с ошибкой нормализации в отдельный поток. В этом потоке осуществляется дальнейшее хранение, что позволяет не терять данный тип событий. В рамках процесса нормализации пользователям доступно обогащение события с помощью специальных таблиц, которые можно как создать вручную, так и импортировать из внешних источников. 

«Из коробки» поддерживается ряд преднастроенных пакетов правил нормализации, которые включают в себя более 700 типов событий, а также функции следующих форматов: CEF, Syslog (RFC 5424, RFC 6587, RFC 3164), JSON, NDJSON, CSV, GLOG, GROK, KEY-VALUE, KLOG, LOGFMT, XML.

Фильтрация событий с использованием VRL позволяет компактно описать условия, по которым события будут отделяться от основного потока. Это полезно, когда определённые события нужно обработать иным образом, например исключить их из сбора или отправить во внешнюю систему.

Правила корреляции в R-Vision SIEM  применяются прямо на конвейере обработки событий; таким образом, процесс детектирования на потоке является гибким, что даёт возможность находить угрозы и реагировать на них в настоящем времени. При написании правил корреляции пользователям доступна следующая функциональность: 

• Настройка фильтров событий.
• Возможность задавать последовательность корреляционных событий, в том числе и факт отсутствия определённого события.
• Возможность задавать количественный фильтр на группу событий.
• Обогащение атрибутов из таблиц.
• Использование активных списков, в том числе добавление и удаление значений прямо из правила.
• Отслеживание изменения метрик.
• Настройка длины корреляционного окна. 

Управление моделями событий

Весь поставляемый с R-Vision SIEM контент в виде тех же правил нормализации и корреляции ориентирован на предустановленную универсальную модель. Она состоит из более чем 150 полей, включая 20 индивидуальных (custom), которые пользователь может применять по своему усмотрению. 

Правила нормализации, описанные выше, преобразовывают полученные события к определённой модели, что необходимо для единообразной обработки и анализа. В R-Vision SIEM заложена гибкая функциональность управления моделями событий, которая помогает конфигурировать полностью новые модели и расширять уже активные, используя 13 типов данных.

Этот подход позволяет:

• работать как с событиями аудита безопасности, так и с другими доменами;
• строить компактные предметно-ориентированные модели;
• работать с более привычными сотрудникам SOC моделями;
• работать с несколькими моделями одновременно.

При этом операции над моделями производятся без ущерба для уже хранящихся в системе событий. К примеру, можно расширить универсальную модель для хранения дополнительных атрибутов события, не прибегая к custom-полям и не изменяя всё хранилище.

Хранение данных и отправка во внешние системы

В R-Vision SIEM прямо из интерфейса можно управлять глубиной хранения и последовательностью ротации данных между хранилищами. Кроме того, есть возможность использовать несколько БД и хранилищ одновременно, что позволяет хранить данные с различными параметрами и стоимостью дисков. Дополнительно присутствует широкая функциональность по мониторингу использования ресурсов, что повышает наблюдаемость и обеспечивает рациональное распределение нагрузки на ИТ-системы, а также позволяет своевременно расширять ресурсы.

Ещё R-Vision SIEM даёт возможность существенно расширить сценарии работы с полученными событиями за счёт их отправки в различные системы такие как комплексы бизнес-аналитики (BI) и поведенческого анализа (UEBA), облачные хранилища, платформы киберразведки (TIP) и др. Благодаря этому можно, например, в рамках территориально распределённой или мультитенантной инсталляции передавать события в другие коллекторы, а также отправлять их во внешние системы для реализации сценариев дополнительной аналитики.

При этом перед отправкой пользователь может отфильтровать только нужные события, привести их к необходимому виду и формату. В числе поддерживаемых форматов — JSON, AVRO, CSV, GELF, LOGFMT, CEF; транспортов — TCP, UDP, HTTP с опцией включения TLS.

Поиск по событиям и аналитика

Для поиска и анализа событий в хранилищах R-Vision SIEM используется язык RQL. Это особый диалект SQL, специально разработанный для снижения порога вхождения как в простых кейсах поиска, так и в сложных аналитических запросах. Помимо основного поискового запроса, сузить поле выборки позволит функциональность управления фильтрами. Кроме того, системой предусмотрено отображение интерактивной временной шкалы-графика, которая помогает пользователям удобно перемещаться между временными отрезками. 

Дополнительно пользователям доступно сохранение шаблонов для быстрой настройки поиска по часто используемым запросам. Также можно настроить правила отображения атрибутов в рамках заданной модели событий и указать параметры автообновления, которые позволят работать с событиями в настоящем времени.

Рисунок 2. Интерфейс поиска по событиям

R-Vision SIEM предоставляет широкие возможности для создания виджетов и панелей мониторинга (дашбордов). «Из коробки» поставляется набор заготовленных виджетов, отображающих текущее состояние системы по ключевым параметрам и метрикам. Вместе с тем пользователю доступно создание собственных виджетов с помощью конструктора и языка RQL, благодаря чему можно строить графики и диаграммы по любым данным о собранных системой событиях. 

Рисунок 3. Дашборд с виджетами

Вспомогательные инструменты

Для опытных пользователей в R-Vision SIEM доступны специальные инструменты, которые расширяют спектр возможностей при работе с продуктом. На текущий момент таких инструментов три: RQL-песочница, VRL-песочница и плагин для Visual Studio Code.

RQL-песочница — функциональность в интерфейсе, которая позволяет с помощью запросов на языке RQL получить необходимые данные по хранимым событиям. Здесь пользователь не ограничен полями модели события и может индивидуализировать вывод с помощью широкого арсенала команд и операторов RQL. Полученные результаты можно экспортировать из системы.

Рисунок 4. RQL-песочница

VRL-песочница — специальный раздел для оперативной проверки VRL. С его помощью можно тестировать работоспособность и результаты выполнения VRL-программ, используемых для работы с объектами и ресурсами системы, прямо в интерфейсе R-Vision SIEM с подсказками и подсветкой ошибок.

Рисунок 5. VRL-песочница

Плагин для среды разработки Visual Studio, который даёт возможность легко создавать и поддерживать объекты экспертизы, используя преднастроенные шаблоны и утилиты, повышающие удобство разработки и тестирования. Кроме того, плагин позволяет выполнять сравнительное тестирование (бенчмаркинг) и отладку, показывает синтаксические подсказки.

Рисунок 6. Плагин VS Code

Архитектура R-Vision SIEM

Архитектура системы основана на гибком микросервисном подходе и поддерживает динамическое развёртывание компонентов, а также их оркестровку, в том числе на базе Kubernetes. На рисунке 7 ниже представлены основные функциональные составляющие R-Vision SIEM:

• Коллектор. Это компонент, который обеспечивает сбор событий из внешних источников, их обработку, нормализацию и отправку в хранилища или внешние системы.
• Обнаружение. В рамках этого блока ведётся управление объектами корреляции, в том числе учёт версионности правил корреляции. Применение правил происходит прямо на конвейере коллектора в режиме реального времени. 
• Оповещения. Этот блок отвечает за информирование об обнаруженной потенциальной вредоносной активности, а также за отправку соответствующих уведомлений во внешние системы.
• Работа с событиями. В этом компоненте реализована функциональность поиска и фильтрации по хранилищам данных, что необходимо для выполнения различных аналитических запросов и построения визуализаций.

Рисунок 7. Архитектура R-Vision SIEM

Стоит отметить, что благодаря этой архитектуре можно использовать несколько экземпляров компонентов для масштабирования и распределения потоков данных, а также обновлять систему покомпонентно без остановки критических функций. Кроме того, в архитектуре учтена возможность размещения компонентов на нескольких площадках / вычислительных ресурсах, что позволяет интегрироваться с оборудованием в различных сегментах сети заказчика.

Системные требования R-Vision SIEM

Системные требования зависят от входного количества событий для обработки. Также важно учесть конфигурацию системы: так, в различных архитектурах высокой доступности могут понадобиться дополнительные ресурсы для резервирования.

Ниже представлены требования для популярных 10 000 событий в секунду и 10 % корреляционных событий от общего потока.

Таблица 1. Системные требования для 10 000 событий в секунду

Сценарии использования R-Vision SIEM

Под работу с контентом в R-Vision SIEM выделен специальный раздел с несколькими типами объектов экспертизы. Каждый такой объект — это контентная часть продукта, содержащая в себе написанную экспертизу «из коробки». Они используются на различных этапах обработки событий и корреляции, пользователю доступно полное управление ими, в т. ч. их конфигурации.

Пользователь может создавать и настраивать следующие типы объектов экспертизы:

• Правила нормализации, которые преобразовывают события посредством их трансформации, обогащения и фильтрации.
• Правила корреляции, определяющие условия поиска соответствий и генерации корреляционных событий.
• Активные списки значений, заполняемые из данных по событиям и хранящиеся определённое время.
• Таблицы обогащения, то есть словари, таблицы или GeoIP-данные, задаваемые пользователем в системе или выгружаемые из сторонних источников.
• Модели событий — схемы хранения, описывающие поля и используемые типы данных. 

Объекты могут быть сгруппированы в пакеты экспертизы, которые удобно создавать, поддерживать и распространять. Для работы с событиями какого-либо источника, например Windows Security Log, в пакет могут быть включены правила нормализации и обогащения, а также правила корреляции. Фактически, загрузка такого пакета экспертизы позволяет начать работу с событиями источника в режиме «plug’n’play».

Рисунок 8. Объекты экспертизы

В свою очередь, объекты экспертизы построены на концепции «как код» (as code), в рамках которой сущности описываются с помощью специального языка RObject. Для разработки объектов экспертизы R-Vision SIEM предоставляет полноценный редактор кода в пользовательском интерфейсе, а также удобный плагин для Visual Studio. Таким образом появляется возможность строить разработку объектов экспертизы на основе Git, а удобные консольные утилиты позволяют встроить валидацию, тестирование, отладку, бенчмаркинг и доставку в CI-процесс.

При разработке объектов экспертизы пользователю предоставляются:

• «Заготовки» для различных объектов в виде тестового шаблона, позволяющие быстро освоить структуру и создать объект без дополнительного обучения.
• Опции подсветки синтаксиса, автоподстановки, показа ошибок, запуска тестов и микробенчмарков (статистика по времени выполнения, последнему запуску и насколько стало лучше / хуже).
• Функциональность версионирования и создания черновиков, которая даёт возможность поддерживать актуальность разработанного контента и сохранять промежуточные варианты работы.
• Функциональность тестирования, помогающая убедиться, что созданные ресурсы работают корректно и заложенная логика не даёт сбоев.
• Функциональность отладки в плагине, которая позволяет выполнить программу итеративно и посмотреть результат на каждом этапе. 

Добавление нового источника событий

Рассмотрим на примере сетевого устройства Cisco Catalyst путь подключения нового источника. Отметим, что сам процесс получения и обработки событий настраивается в рамках конвейера. 

В первую очередь пользователю необходимо настроить точку входа, которая будет получать события журнала. В этом поможет набор преднастроенных точек входа для различных протоколов и форматов событий.

Рисунок 9. Конфигурация точки входа

Здесь сразу следует добавить хранилище событий в качестве конечной точки. В него будут попадать полученные события в «сыром» виде, так как ещё не добавлены правила нормализации.

Рисунок 10. Конфигурация конвейера

Далее следует убедиться, что события начали поступать в систему. Для этого нужно перейти на страницу поиска, где будут отображены только что полученные события. 

Рисунок 11. Полученные события Cisco Catalyst

Убедившись, что события поступают в R-Vision SIEM, можно продолжить редактирование конвейера.

Следующим шагом станет применение правила нормализации к полученному потоку событий. Для этого нужно добавить нормализатор и выбрать в нём одно или несколько правил нормализации из списка доступных. Для удобства работы с правилами есть навигация, теги и поиск по названию. Сами правила можно просмотреть в удобном редакторе с подсветкой синтаксиса, увидеть историю изменений и внести правки, если требуется.

Рисунок 12. Добавление нормализатора в конвейер

В случае необходимости пользователь может дополнить события контекстом, воспользовавшись функциональностью обогащения. Для этого создаётся специальная таблица обогащения, которая будет хранить данные для соответствующей процедуры. Таблица, как и другие объекты экспертизы, описывается в виде кода.

Рисунок 13. Создание таблицы обогащения

В самом правиле пользователь описывает, каким образом будут нормализовываться события от Cisco.

В блоке «normalizer» он может приступить к написанию инструкции по нормализации. Так как источник отправляет события в формате Syslog, используется стандартная функция парсинга этого формата для первичной токенизации события. Далее необходимо нормализовать полученный объект к формату универсальной модели данных посредством доступных функций преобразования и регулярных выражений.

Для удобства работы с событиями выполняется обогащение IP-адреса устройства-адресата сведениями о стране и городе.

В итоге пользователь получает компактную структуру, описывающую процесс извлечения данных, обогащения и приведения их к такому формату, который соответствует целевой модели события.

Как видно, при работе с плагином происходят валидация синтаксиса «на лету», проверка топологии и подсветка найденных ошибок с выводом краткой справки.

Рисунок 14. Правило нормализации в среде разработки VS Code с плагином R-Vision

В графическом интерфейсе системы также происходит постоянная валидация конвейера, включая каждый этап. Видны ошибки, связанные с отсутствием необходимых этапов. Этапы с ошибками подсвечиваются и пользователю предоставляется справка по каждой ошибке.

Рисунок 15. Валидация конфигурации конвейера

Для сохранения нормализованных событий с результатами обогащения необходимо расширить модель событий через графический интерфейс. Важно, что изменения моделей не несут ущерба для уже имеющихся на хранении данных.

Рисунок 16. Расширение модели данных

В результате пользователь получает понятную и управляемую топологию всего процесса работы с событиями, где можно подробно ознакомиться с каждым этапом и внести изменения, если это необходимо. Дополнительно есть возможность клонировать получившийся конвейер, а также на его основе создать новый.

Как только все ошибки будут исправлены, останется только включить конвейер, после чего поток событий начнёт обрабатываться согласно обновлённой конфигурации.

Рисунок 17. Конвейер запущен

Далее, в качестве дополнительной проверки корректности процесса, стоит перейти в раздел поиска по событиям, чтобы проверить, приходят ли события и если да, то в каком виде.

Рисунок 18. Нормализованные события в интерфейсе поиска

В результате проведённых работ видим, что нормализация прошла успешно и теперь с событиями нового источника комфортно работать.

Пример создания правила корреляции

Рассмотрим практический пример: пользователь хочет написать новое правило корреляции, которое будет отслеживать превышение числа неудачных попыток авторизации.

Для этого необходимо создать новый объект экспертизы — правило корреляции со следующей логикой:

1. Указать группировку по полям «dhost» и «duser», фильтрацию по Windows Security Log Event ID 4625.
2. Задать конструкцию со счётчиком: при поступлении нового события неудачного входа необходимо обновить состояние корреляционного окна на +1 к счётчику, а как только счётчик достигнет значения «5», сформировать корреляционное событие.
3. В сообщение корреляционного события вывести информацию по хосту и пользователю, а также значение счётчика.

Рисунок 19. Код правила корреляции

В тестах указываются примеры неудачных попыток входа, чтобы можно было проверить правило на корректность работы.

Рисунок 20. Тесты для создаваемого правила корреляции

После запуска тестов получается следующий вывод с результатами его выполнения.

Рисунок 21. Результаты выполнения тестов правила корреляции

Как только правило сработает, пользователь получит оповещение в интерфейсе.

Рисунок 22. Детали полученного оповещения

При интеграции с системой R-Vision SOAR оповещения автоматически отправляются туда и по ним выполняется реагирование.

Рисунок 23. Результат выполнения плейбука реагирования SOAR

Проверка использования ресурсов

Для всех основных объектов системы, которые так или иначе связаны с обработкой потоков данных, доступен мониторинг ключевых показателей работы, а также утилизации ресурсов. Информацию по ним можно оперативно получить как в виде дашбордов, так и в предметном разделе.

В качестве примера проверим показатели работы коллектора. На графике EPS отражается серьёзная нагрузка за последние полчаса, что утилизирует более 32 % выделенного ресурса ядра.

Рисунок 24. Утилизация ресурсов коллектора

Также метрики доступны для каждого элемента конвейера. Отслеживаются такие показатели, как поток событий на входе и выходе, утилизация ресурсов, количество ошибок. Всё это помогает в отладке конфигурации и поиске неисправностей или узких мест.

Рисунок 25. Метрики элемента конвейера — точка входа

Чтобы обеспечить бесперебойную работу коллектора, следует вернуться на страницу управления и изменить текущие параметры, добавив дополнительные ЦП.

Рисунок 26. Конфигурация коллектора — увеличение количества вычислительных ядер

Таким образом, система позволяет оперативно реагировать на изменения нагрузки и управлять выделяемыми ресурсами прямо из интерфейса. Для инженеров этот инструмент полезен при выявлении и разборе сценариев ошибочных конфигураций конвейера.

Рисунок 27. Утилизация ресурсов коллектора после их увеличения

Выводы

SIEM-системы являются чрезвычайно важным инструментом для обеспечения информационной безопасности, они позволяют организациям анализировать события и управлять ими в режиме реального времени, а также своевременно обнаруживать инциденты и реагировать на них. При правильной настройке и использовании SIEM может значительно повысить безопасность и эффективность обработки информации в организации. Однако, как и любая технология, SIEM не является универсальной таблеткой от всех угроз, и для эффективной работы ей требуются правильное внедрение, настройка и сопровождение при эксплуатации.

На рынке ИБ уже много SIEM, все они имеют одинаковую функциональную наполненность и, более того, схожий технический стек. Но даже при большом техническом и архитектурном подобии решений они обладают своей индивидуальностью. 

R-Vision SIEM является отечественным продуктом. Его сильная сторона — гибкие функциональные возможности, сочетающиеся с высокой интуитивностью при использовании. Особенностью продукта является графический редактор конвейера обработки событий; кроме того, разработчик уделил большое внимание инструментам для разработки детектирующего контента. Система даёт возможность настроить систему полностью под уникальные параметры пользователя и помогает эффективно управлять информационной безопасностью.

Достоинства:

• Быстрое ресурсное и логическое масштабирование без ограничений, в том числе за счёт увеличения вычислительной мощности кластера.
• Сбор, хранение и анализ событий из любого источника в любом удобном пользователю виде.
• Поддержка концепции «как код» во всех объектах индивидуализации продукта.
• Язык VRL позволяет безопасно и без ограничений писать правила детектирования и нормализации, а также выстраивать работу с ними в парадигме «detection-as-code» с полным циклом CI / CD.
• Производительность и низкие технические требования без ущерба для функциональности.

Недостатки:

• Отсутствие конструктора отчётов (в планах до конца 2023 года).
• Небольшое число поставляемых «из коробки» правил нормализации для подключаемых систем (в рамках пилотных проектов и технической поддержки компания R-Vision готова помогать с ресурсными источниками).
• На момент написания обзора нет сертификата ФСТЭК России (планируется получить в 2024 году).