Обзор Servicepipe Cybert 3.0, платформы для защиты веб-ресурсов от DDoS-атак и вредоносных ботов

1. Введение
2. Функциональные возможности Servicepipe Cybert
3. Архитектура платформы Servicepipe Cybert
4. Варианты интеграции
5. Применение Servicepipe Cybert
   1. 5.1. Личный кабинет
   2. 5.2. Пример использования платформы Servicepipe Cybert для фильтрации ботов
   3. 5.3. Применение Servicepipe Cybert в связке с WAF
6. Выводы

Введение

Боты всё активнее применяются в различных сферах. Однако боты бывают разные. Легитимные — приносят пользу, помогают аналитике и продажам. Вредоносные — создают паразитную нагрузку, нарушают бизнес-процессы, приводят к убыткам и репутационному ущербу.

Вредоносные боты могут генерировать спам, засорять обратную связь веб-сайтов, нагружать серверы и забивать каналы связи. При этом боты становятся умнее и уже способны обходить базовые механизмы безопасности.

В этом обзоре мы подробно рассмотрим платформу высокоточной фильтрации трафика Servicepipe Cybert — ядро продуктов Servicepipe для защиты веб-ресурсов и API мобильных приложений от DDoS и вредоносных ботов.

Функциональные возможности Servicepipe Cybert

Servicepipe Cybert — это платформа для защиты веб-ресурсов, реализованная на базе универсальной технологии фильтрации трафика и поддерживающая множество функций:

• Защита веб-приложений от любых DDoS-атак без блокировки источников по IP-адресам.
• Защита от нежелательных ботов — парсинга, подбора логинов и паролей и других угроз из списка OWASP Automated Threats.
• Защита средствами Web Application Firewall от попыток взлома.
• Балансировка нагрузки.
• Пользовательские белые и чёрные списки.
• Автоматическое кеширование статики на нодах фильтрации.
• Поддержка IPv6, WebSocket, HTTP/2.
• Защита HTTPS без раскрытия SSL и передачи логов с веб-сервера.
• Перенос шифрования (SSL offload) с получением, хранением и автопродлением сертификатов.

Технология способна выявлять и блокировать даже единичные запросы ботов. Точность срабатывания достигается за счёт комплексного анализа различных факторов, которые возможно описать следующими категориями:

• Технические факторы.
• Статистические факторы.
• Машинное обучение.
• Поведенческий постанализ.

Рисунок 1. Концептуальная схема работы Servicepipe Cybert

Как Servicepipe Cybert принимает решения:

1. Трафик, поступающий на ресурс, постоянно анализируется на предмет всевозможных статистических аномалий.
2. При получении очередного запроса проводится базовый технический анализ пославшего его клиента или пользователя.
3. Если запрос от данного клиента является не первым в наблюдаемом интервале времени, то вычисляются поведенческие факторы клиента / пользователя.
4. Запрос сопоставляется с сигнатурами, актуальными для ресурса в данный момент, при этом может учитываться как совпадение, так и «близость».
5. Полученная информация комбинируется в вектор факторов, на основе которого вычисляется легитимность запроса.

Servicepipe Cybert выявляет и блокирует все угрозы из списков OWASP Top 10 и Automated Threats for Web Applications, включая подстановку учётных данных (Credential Stuffing), извлечение веб-данных (Web Scraping), кардинг (Carding), захват учётных записей (Account Takeover) и сканирование на уязвимости (Vulnerability Scanning).

Платформа позволяет соответствовать требованиям PCI DSS за счёт полноценной блокировки DDoS-атак и ботов без передачи SSL-сертификата.

Архитектура платформы Servicepipe Cybert

Архитектурно Servicepipe Cybert — это совокупность географически распределённых центров анализа и фильтрации трафика, каждый из которых состоит из нод фильтрации и сетевого оборудования операторского класса. Центры очистки размещены в сертифицированных дата-центрах уровня не ниже Tier III и не связаны между собой. Они имеют системы контроля доступа, резервное питание, охлаждение и сетевое оборудование, а также прямые стыки с несколькими магистральными провайдерами. Отказ любого компонента центра очистки не может привести к его недоступности или выходу из строя.

На сервисном уровне Servicepipe Cybert — единая эшелонированная платформа фильтрации трафика с несколькими вариантами развёртывания: облачное подключение, установка в инфраструктуре заказчика или гибридные инсталляции.

Рисунок 2. Архитектура платформы Servicepipe Cybert

Варианты интеграции

Интеграция решений доступна в любых удобных форматах: локальная установка внутри сети заказчика (Hardware / Software Protection), подключение к облачному SaaS-сервису (Cloud Protection), а также гибридные инсталляции (Hybrid Protection). Рассмотрим их по отдельности.

Cloud Protection (с раскрытием приватного ключа SSL). Трафик перенаправляется через географически распределённую платформу фильтрации Servicepipe, где проверяется на легитимность. Вредоносный трафик блокируется в зависимости от типа фильтрации, очищенный направляется к защищаемому ресурсу. Облачный вариант интеграции подходит для защиты от большинства современных угроз.

Это — стандартная схема подключения к платформе Servicepipe Cybert через проксирование трафика защищаемого приложения:

1. Выделенный защищённый IP-адрес анонсируется в сеть «Интернет» по Anycast одновременно со всех центров очистки. Пользователь обслуживается на ближайшем к нему оборудовании.
2. В центре очистки каждый запрос распределяется на одну из нод фильтрации (реальный сервер). Сервер принимает соединение, получает запрос, проводит анализ и принимает решение.
3. В случае принятия решения о легитимности запроса сервер соединяется с клиентским сервером и отправляет (проксирует) запрос.

Соединение с клиентским сервером происходит через интернет или по выделенному каналу.

Hybrid Protection (без раскрытия приватного ключа SSL, соответствие PCI DSS). Параллельно с перенаправлением трафика на платформу фильтрации Servicepipe внутри инфраструктуры клиента размещаются локальные компоненты платформы. Работой и параметрами фильтрации заказчик управляет сам либо с помощью инженеров Servicepipe в рамках расширенной технической поддержки. Гибридная модель подходит для защиты приложений без раскрытия SSL, а также ИТ-инфраструктуры, в которой присутствуют разнородные службы и сервисы.

Гибридный способ интеграции необходим, когда требуется исключить передачу SSL-сертификата для работы алгоритмов определения нежелательных ботов и встроить полноценную защиту в существующую ИТ-инфраструктуру. Платформа Servicepipe Cybert может быть развёрнута по гибридной схеме в двух вариантах:

1. В виде модуля для веб-сервера NGINX с использованием вычислительных мощностей клиента.
2. В виде полноценного ПАК с преднастроенным модулем для веб-сервера NGINX и в конфигурации соответствующей требованиям заказчика к отказоустойчивости и производительности.

Рисунок 3. Гибридная схема подключения Servicepipe Cybert

Как и в облачной схеме, входящий трафик для защищаемого ресурса приходит на узлы фильтрации Servicepipe. Но в гибридной модели очистка на узлах происходит только на транспортном уровне, без терминации TLS. Фильтрация на прикладном уровне производится уже в инфраструктуре клиента с помощью NGINX-модуля, разработанного Servicepipe.

Этот модуль собирает и направляет в центр принятия решений Servicepipe анонимизированные данные о запросах, а в ответ получает вердикты: легитимен запрос или вредоносен. При этом тело запроса не передаётся, а решения по однотипным запросам принимаются локально в модуле, без отправки данных для анализа. Легитимные запросы отправляются с сервера с установленным модулем на обработку веб-приложением.

Software Node (без раскрытия приватного ключа SSL, соответствие PCI DSS). Вредоносный трафик анализируется и блокируется с помощью программного обеспечения Servicepipe, установленного на ресурсах заказчика. Стандартная техподдержка включает в себя регулярные обновления ПО и обучение специалистов клиента. Параметрами фильтрации управляют специалисты заказчика либо инженеры Servicepipe в рамках расширенной технической поддержки.

API / Website Login Protection (без раскрытия приватного ключа SSL, соответствие PCI DSS). После запуска, но до момента авторизации пользователя мобильное приложение / веб-браузер отправляет приветственный запрос (hello-request) / GET-запрос на платформу Servicepipe для проверки на легитимность. GET-запрос включает пиксель (JS или другой элемент страницы). Результаты проверки учитываются в функциональности авторизации в приложении / на сайте. Нелегитимные сессии блокируются или обрабатываются иным способом в рамках выбранной бизнес-логики работы бэкенда. Подключение не требует компиляции стороннего кода или SDK. Достаточно настроить отправку проверочного запроса.

Hardware Node (без раскрытия приватного ключа SSL, соответствие PCI DSS). В инфраструктуре клиента размещаются полноценные ноды для анализа и фильтрации трафика (аппаратные платформы с преднастроенным ПО Servicepipe). Специально подобранные и протестированные компоненты (процессор, материнская плата, сетевая карта и диски) обеспечивают максимальную производительность и стабильность при высоких нагрузках. Для повышения отказоустойчивости ноды объединяются в кластер. Базовая техническая поддержка включает в себя поставку обновлений ПО, обучение специалистов заказчика эксплуатации и администрированию программно-аппаратного комплекса Servicepipe. В расширенную поддержку входят техническое сопровождение (настройка и администрирование) внутри сетевого контура заказчика, детальная аналитика по трафику и индивидуальное управление параметрами фильтрации.

Применение Servicepipe Cybert

Личный кабинет

Для управления ресурсами и просмотра статистики платформы Servicepipe Cybert предусмотрен личный кабинет. Регистрация — закрытая, происходит по предварительной заявке.

Рисунок 4. Страница авторизации в личном кабинете Servicepipe

После входа пользователь попадает на стартовую страницу личного кабинета (раздел «Обзор»). На ней представлены общие статистические данные по трафику, проходящему через платформу фильтрации.

Рисунок 5. Вкладка «Обзор» в личном кабинете Servicepipe

Раздел «Защита веб-приложений» представлен тремя вкладками: «Ресурсы», «Статистика трафика» и «Аналитика трафика».

Рисунок 6. Вкладка «Ресурсы» в личном кабинете Servicepipe

Вкладка «Ресурсы» 

Здесь отображаются все веб-ресурсы, находящиеся в данный момент под защитой Servicepipe. Можно добавлять новые. Для каждого защищаемого ресурса подсвечивается, активирована ли для него опция защиты от DDoS-атак на уровне приложения и проактивная фильтрация ботов, которая отвечает за исключение автоматизированной активности даже при отсутствии DDoS-атаки.

Каждый ресурс можно сконфигурировать с помощью дополнительных разделов меню редактирования.

Раздел «Основное»

Рисунок 7. Вкладка «Основное» в меню редактирования веб-ресурса

В меню редактирования веб-ресурса можно:

• изменить доменное имя защищаемого ресурса;
• добавить SSL-сертификат или выписать его тут же на платформе через Let’s Encrypt;
• добавить несколько IP-адресов, на которые будет отправляться очищенный трафик, и настроить балансировку трафика между ними;
• управлять другими влияющими на поведение платформы опциями, представленными на скриншоте выше.

Раздел «Алиасы»

Здесь можно добавить дополнительные доменные имена, относящиеся к защищаемому приложению, трафик для которых должен попадать на те же IP-адреса, указанные в качестве оригинальных в разделе «Основное».

Как пример, здесь можно задать все географические домены для защищаемого сайта.

Раздел «Политика доступа»

В этом разделе при необходимости настраиваются ограничения доступа к ресурсу по географии запросов.

Рисунок 8. Вкладка «Политики доступа» в меню редактирования ресурса

Разделы «Белый список» и «Чёрный список» в меню редактирования ресурса

Разделы представляют собой стандартную функциональность «обеления» или блокировки конкретных IP-адресов.

Вкладка «Статистика трафика»

На вкладке «Статистика трафика» можно ознакомиться со статистическими данными по трафику, а также метриками, характеризующими работу веб-сервера клиента.

Рисунок 9. График по количеству запросов к защищаемому ресурсу

Рисунок 10. График по полосе трафика защищаемого ресурса

Рисунок 11. График с разметкой запросов к защищаемому ресурсу

Рисунок 12. График, отображающий время ответа веб-сервера защищаемого ресурса

Рисунок 13. График с распределением HTTP-кодов ответов

Рисунок 14. График распределения географии запросов

Вкладка «Аналитика трафика»

На этой вкладке представлены данные о легитимных пользователях и ботах. Здесь можно посмотреть на распределение операционных систем и юзер-агентов, узнать, какие запросы чаще всего делают боты, с каких адресов и подсетей.

Рисунок 15. Диаграмма распределения операционных систем людей и ботов

Рисунок 16. Топ-30 запросов, созданных ботами

Также здесь находятся логи запросов к защищаемому ресурсу. Благодаря встроенному фильтру можно сразу определить запросы полученные с определённого IP-адреса, а также проверить, какие запросы были заблокированы и по какой причине.

Рисунок 17. Логи запросов

Далее приведём несколько примеров использования Servicepipe Cybert на практике.

Пример использования платформы Servicepipe Cybert для фильтрации ботов

Рассмотрим кейс фильтрации ботов с помощью технологии Servicepipe Cybert на деморесурсе cp.servicepipe.ru.

Рисунок 18. Для ресурса cp.servicepipe.ru в Servicepipe Cybert включена защита от ботов

Сформируем небраузерный запрос при помощи утилиты cURL (служебная программа командной строки, позволяющая взаимодействовать со множеством различных серверов по множеству различных протоколов с синтаксисом URL). Для удобства скопируем GET-запрос, чтобы добавить его в качестве готовой команды в утилиту cURL,  непосредственно из браузера.

Рисунок 19. Копирование GET-запроса из браузера для cURL

Добавляем скопированный запрос в cURL с аргументом «--compressed», учитывая, что некоторые заголовки могут быть сжатыми.

Рисунок 20. Выполнение небраузерного запроса при помощи утилиты cURL

На запрос мы получаем ответ в виде HTML-страницы с запретом на переход.

Рисунок 21. Ответ на запрос в виде HTML-страницы (интерфейс утилиты cURL)

При этом ресурс работает корректно и отрабатывает браузерные запросы.

Для сравнения проделаем такую же операцию с другим сайтом.

Рисунок 22. Копирование GET-запроса из браузера для cURL

Рисунок 23. Выполнение небраузерного запроса при помощи утилиты cURL

На запрос с использованием средств автоматизации мы получаем в ответ полную HTML-страницу вместо запрета, как в предыдущем примере.

Рисунок 24. Ответ на запрос в виде HTML-страницы

Далее для ресурса cp.servicepipe.ru увеличим нагрузку автоматизированными запросами: выполним при помощи утилиты cURL повторяющиеся запросы в несколько потоков.

Рисунок 25. Выполнение небраузерных циклических запросов при помощи утилиты cURL в несколько потоков

Деморесурс cp.servicepipe.ru работает корректно и отрабатывает браузерные запросы.

При этом в личном кабинете Servicepipe на вкладке «Статистика трафика» мы видим всплеск трафика категории «Плохие боты».

Рисунок 26. Вкладка «Статистика трафика» в консоли Servicepipe Cybert

Применение Servicepipe Cybert в связке с WAF

Межсетевые экраны прикладного уровня (Web Application Firewall, WAF) — это специализированные средства защиты от внешних угроз для веб-приложений. WAF опирается на рейт-лимиты, поведенческий анализ и репутационные базы сигнатур. Анализ в WAF позволяет выявить даже единичные атакующие запросы. Однако вредоносные боты, генерируя DDoS-атаки прикладного уровня, могут создать избыточную нагрузку на WAF: анализируя «на лету» содержимое каждого запроса, WAF закономерно будет терять в производительности, что вследствие роста нагрузки может привести к его отказу в обслуживании.

Применение Servicepipe Cybert снизит нагрузку на WAF, позволяя аналитикам сконцентрироваться на специфичных для веб-приложений атаках — SQL-инъекциях, XPath-инъекциях и других угрозах из списка OWASP Top 10.

В качестве примера продемонстрируем работу WAF для деморесурса cp.servicepipe.ru со включённой защитой от ботов в личном кабинете Servicepipe Cybert.

В данном случае нашу «атаку» заблокировал WAF.

Рисунок 27. Блокировка запроса средствами WAF

В журнале WAF можно ознакомиться с данным событием.

Рисунок 28. Журнал WAF для ресурса cp.servicepipe.ru

Далее отключаем защиту от ботов в консоли Servicepipe и обновляем журнал WAF. В результате мы видим, что для ресурса cp.servicepipe.ru появилось более 80 атак, связанных с активностью ботов.

Рисунок 29. Журнал WAF для ресурса cp.servicepipe.ru (множество атак, связанных с активностью ботов)

Выводы

В данном обзоре мы познакомились с платформой высокоточной очистки трафика для защиты веб-приложений от DDoS-атак и ботовой активности Servicepipe Cybert. В Servicepipe Cybert используются многофакторные методы анализа — современные математические модели и машинное обучение, — что позволяет с высокой точностью выявлять и блокировать вредоносные боты и угрозы из списка OWASP Automated Threats to Web Applications, включая низкочастотные и распределённые атаки на бизнес-логику с помощью передовых ботнетов.

Интеграция Servicepipe Cybert доступна в любых удобных форматах: локальная установка внутри сети заказчика, подключение к облачному сервису, гибридные инсталляции. Если речь идёт о защите веб-сайта, а не API мобильного приложения, не требуется сложных настроек, периода обучения и накопления статистики. Таким образом, подключение может занимать всего 15 минут. Защищать API без первичного обучения системы фильтрации Servicepipe может на L3-L4 с помощью другого продукта.

Отказоустойчивая архитектура платформы Cybert в целом и каждого центра очистки Servicepipe в частности обеспечивает высокую доступность защищаемых приложений заказчиков.

Достоинства:

• Российская разработка для защиты веб-приложений от DDoS-атак и ботовой активности.
• Многофакторные методы анализа для выявления и блокировки запросов ботов.
• Фильтрация единичных вредоносных запросов без блокировок по IP-адресам.
• Быстрое подключение защиты (не требует сложных настроек, периода обучения и накопления статистики).
• Полноценная работа без изменений в коде и проверок CAPTCHA.
• Блокировка ботов без влияния на SEO за счёт непрерывной поддержки обновляемого глобального белого списка «хороших» роботов.
• API для управления и интеграции.
• Отказоустойчивая архитектура каждого центра очистки и всей платформы целиком обеспечивает высокую доступность защищаемых приложений.

Недостатки:

• Отсутствует эксплуатационная документация в виде справки в личном кабинете пользователя.