Какие средства защиты веб-сайтов от ботов представлены сейчас на отечественном рынке? Как отличить легитимного бота от скрипта нацеленного на вредоносные действия? Может ли машинное обучение повысить эффективность борьбы с ботами? Эти и другие вопросы мы задали представителям вендоров и заказчикам антибот-систем на очередном эфире конференции AM Live.
- Введение
- Чем опасны интернет-боты
- Методы защиты от вредоносных ботов
- Особенности внедрения систем защиты от ботов
- Тенденции рынка систем защиты от ботов
- Выводы
Введение
Трафик, генерируемый ботами, неуклонно растёт и в 2020 году составил более 40 % от всего объёма передаваемых в интернете данных. При этом исследователи утверждают, что большая часть бот-активности носит нелегитимный или вредоносный характер. Боты могут собирать конфиденциальную или защищаемую информацию, «скликивать» рекламный бюджет, выполнять мошеннические запросы к финансовым системам или перебирать пароли и комбинации промокодов. Так или иначе, практически любой бизнес сегодня сталкивается с деятельностью ботов, которая выходит за рамки безобидной индексации и может нанести реальный ущерб.
По другую сторону баррикад стоят как комплексные ИБ-решения, имеющие в арсенале функциональных возможностей модули для борьбы с ботами, так и узкоспециализированные системы, нацеленные на пресечение именно этого вида активности. Как работают такие продукты и сервисы и какие сложности ожидают заказчиков на пути их внедрения и эксплуатации, мы обсудили в рамках прямого эфира проекта AM Live с экспертами, представляющими как вендоров, так и пользователей антибот-систем.
В студии Anti-Malware.ru собрались:
- Зафар Астанов, руководитель пресейл-инженеров Fraud Hunting Platform компании Group-IB.
- Анастасия Топоркова, ведущий антифрод-аналитик департамента специальных проектов компании HeadHunter.
- Иван Кашилов, ведущий специалист анализа данных компании DDoS-Guard.
- Иван Новиков, CEO компании «Валарм».
Модератором дискуссии выступил Денис Безкоровайный, руководитель направления DevOps / DevSecOps компании Proto Group.
Чем опасны интернет-боты
В начале беседы мы предложили спикерам рассказать, что такое интернет-боты и какую опасность они представляют для владельцев сайтов.
Иван Кашилов:
— Бот (производная от слова «робот») — это инструмент для автоматизации любых действий. Эти действия в контексте интернета могут быть как полезными, так и вредными. Вредоносные боты могут выполнять различные функции, начиная от относительно безобидного парсинга и «скликивания» и заканчивая подбором паролей и кражей учётных данных.
Зафар Астанов:
— Вредоносных ботов можно разделить на две категории. Более «интеллектуальные» веб-боты способны эмулировать поведение пользователя и обладать клавиатурным и курсорным почерком. Шелл-боты, подключающиеся непосредственно к серверам приложений, менее сложны, и выявлять их гораздо легче.
Анастасия Топоркова:
— Для каждого веб-ресурса есть своя определённая категория ботов, с которыми необходимо бороться. Например, в случае hh.ru это — боты-парсеры, которые собирают информацию размещённую на нашем сайте.
Иван Новиков:
— Я бы классифицировал вредоносные боты по типам атак, поскольку это — инструмент предназначенный для выполнения тех или иных действий. С точки зрения разделения на категории важнее понимать то, для чего бот используется, а не его техническую реализацию.
Рассуждая об опасности ботов, эксперты отметили, что вредоносные действия таких программ различаются в зависимости от отрасли. Так, в случае с рекрутинговыми ресурсами это может быть засорение сайта ложными данными, в банковской сфере действуют мошеннические схемы, связанные с несанкционированными запросами к межбанковским шлюзам, для ретейла же актуальна проблема бонус-хантинга (перебора промокодов для получения скидки). Ещё один пример использования ботов — имитация действий посетителя сайта с целью понижения рейтинга ресурса в поисковой выдаче.
Методы защиты от вредоносных ботов
Как защищаться от атак ботов? Эксперты пояснили, что существуют три класса решений, которые могут противостоять кампаниям основанным на применении интернет-ботов: Web Application Firewall (WAF), системы для защиты от DDoS-атак и антибот-системы.
При этом наибольшую эффективность в борьбе с ботами показывают именно специализированные антибот-решения. Спикеры рассказали, что заказчик может как выбрать готовое решение или облачный сервис, так и разработать собственные средства или индивидуализировать имеющиеся приложения. Последний путь имеет право на жизнь, поскольку создатели ботов постоянно совершенствуют свои творения, чтобы обойти стандартные антибот-программы.
Одним из средств, которые позволяют проверить посетителя сайта и убедиться, что перед нами человек, а не робот, является CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart). Такие системы прошли путь от простейших вариантов, требующих ввода букв или цифр, до тяжеловесных решений, использующих криптографические методы. Как отметили наши эксперты, нельзя сказать, что CAPTCHA эффективнее других инструментов защиты, просто для разных типов атак разумно использовать разные средства противодействия.
Другим методом идентификации пользователя и дифференциации его от бота являются сессионные токены — «куки». На основании содержащейся в них информации можно делать определённые выводы о репутации посетителя.
Что же эффективнее — отдельная специализированная система защиты от ботов или комплексное решение? По мнению спикеров AM Live, на этот вопрос нет однозначного ответа. Очень многое зависит от конкретной реализации инструмента, а также сил и средств, вложенных в его создание. Нельзя полностью решить проблему защиты от ботов просто установив какое-то решение. Практически во всех случаях необходимы настройка и индивидуализация как специализированных, так и комплексных систем под конкретные задачи. Одним из эффективных вариантов эксперты назвали мультивендорный подход, который позволит создать максимально гибкую систему, однако потребует больше ресурсов для её поддержки.
С другой стороны, можно рассматривать WAF, anti-DDoS и антибот-системы как три различных класса, которые нельзя скомпоновать в единое решение. Как отметили эксперты в студии, для противодействия DDoS-атакам необходим инструмент защиты инфраструктуры от большого количества относительно простых ботов. Для WAF важно не пропустить каждую отдельную попытку проникновения и обработать все атаки. Средство защиты от ботов, в свою очередь, может использовать информацию о единичных действиях в рамках подозрительного сеанса для идентификации вредоносной активности — большого вреда это не нанесёт.
Большинство зрителей прямого эфира AM Live знакомы с принципами защиты от ботов, но не имеют реального опыта их эксплуатации. Такие результаты были получены в результате опроса, который мы провели параллельно дискуссии в студии. Лишь 18 % опрошенных уже используют антибот-решения, а 9 % пробовали их «пилотировать» и внедрять. Знают общие принципы работы 55 % респондентов, но 18 % совершенно ничего не слышали о таких системах до эфира.
Рисунок 1. Насколько вы знакомы с защитой от ботов?
Особенности внедрения систем защиты от ботов
С технической точки зрения реализация антибот-решений предполагает два варианта:
- Передача всего трафика в стороннее облако для анализа — напрямую или при помощи агентов, установленных на конечных устройствах.
- Интеграция системы с логикой бизнес-приложения, чтобы выявлять потенциально вредоносную активность на месте.
Мы предложили специалистам в студии рассказать о перспективах использования искусственного интеллекта и методов машинного обучения в работе антибот-решений. Эксперты пояснили, что в ряде случаев ИИ даёт хорошие результаты в сфере выявления различий между действиями сложных ботов и реальных людей. Однако для эффективного использования методов машинного обучения необходимы большие массивы данных, которые нужно хранить и обрабатывать, что требует дополнительных затрат. При этом более простые методы статистического анализа или эвристика в ряде случаев дают схожие по эффективности результаты.
В случае применения стороннего решения на базе ИИ заказчик получает некий «чёрный ящик» с непрозрачными алгоритмами работы, вердиктам которого необходимо доверять. С другой стороны, разработка или даже просто самостоятельное использование такой системы потребует значительных ресурсов на первоначальное обучение алгоритмов и поддержание их в «боевом» состоянии. При этом нет сомнений в том, что искусственный интеллект очень эффективен именно при выявлении сложных, многофункциональных ботов.
Зрители прямого эфира считают брутфорс и высокую нагрузку на сервер главными проблемами, которые создают боты. Такие варианты ответов выбрали соответственно 22 % и 21 % участников опроса, который мы провели в рамках прямого эфира. Накрутки и «скликивания» беспокоят 13 % респондентов, а потеря лояльности пользователей — 12 % ответивших. Спам является ключевой проблемой для 9 % наших зрителей, а ещё 23 % выбрали вариант «Другое».
Рисунок 2. В чём, на ваш взгляд, состоит главная проблема от ботов?
Какова должна быть эффективность системы защиты от ботов? Существуют ли стандарты, процент выявления ботов, которых придерживаются вендоры, или метрики устанавливаются индивидуально, в зависимости от отрасли и конкретного заказчика? По мнению экспертов в студии, показатели эффективности индивидуальны для каждого проекта. Главную оценку даёт сам клиент — устраивает ли его точность определения ботов конкретной системой. К тому же в ряде случаев заказчик может самостоятельно варьировать параметры системы и находить баланс между эффективностью обнаружения ботов и комфортом легитимных посетителей сайта.
Спикеры отметили также важность выделения ресурсов предметно на борьбу с ботами. Выявление мошеннической бот-активности в канале требует от ИБ-специалиста специализированных знаний и значительного времени для погружения в проблему. Именно поэтому вендоры, поставляющие «коробочные» решения для борьбы с ботами, не предоставляют гарантий их эффективности без дополнительных сервисов, поддержки и постоянной донастройки системы.
Помимо вредоносных ботов в интернете работает множество легитимных скриптов, которые выполняют полезные для ресурса и пользователя функции. Это могут быть поисковые роботы, модули формирующие сниппеты и страницы предпросмотра для социальных сетей, а также другие программы. Как разделить «правильных» и «неправильных» ботов, чтобы не заблокировать важные для посетителя и владельца ресурса сервисы?
По мнению наших экспертов, внедрение антибот-системы необходимо начинать с изучения трафика целевого сайта, чтобы понять, какие боты на него заходят. На основании этой информации можно сформировать список разрешённых скриптов, которые не будут блокироваться системой безопасности. Создание такого списка не является единственным решением проблемы — спикеры AM Live отметили, что легитимные боты предоставляют все необходимые данные, которые позволяют их идентифицировать и валидировать. Такой подход работает для большинства массовых ботов, созданных соцсетями, поисковыми системами и другими сервисами.
Говоря об экономическом эффекте усилий по борьбе с ботами, эксперты в студии отметили, что это — одна из наиболее понятных бизнесу областей информационной безопасности, поскольку вредоносная бот-активность нередко наносит реальный финансовый ущерб компании. Особенно это заметно в финансовой сфере и ретейле. В то же время существует другая сторона проблемы: бывает сложно продать подобное решение той компании, которая не может точно посчитать убытки от вредоносной деятельности этого типа.
Нам показалось интересным узнать, что ограничивает пользователей при внедрении защиты от ботов, и мы спросили об этом зрителей прямого эфира AM Live. Как оказалось, 19 % из них боятся потерять легитимный трафик, 18 % останавливает высокая стоимость таких решений, а 15 % не могут обосновать потребность в подобных системах руководству. Не готовы внедрять накладные средства защиты 9 % опрошенных, а опасается вносить изменения в код приложений 1 % респондентов. На другие причины сослались 38 % участников опроса.
Рисунок 3. Что для вас является главным ограничивающим фактором во внедрении защиты от ботов?
Тенденции рынка систем защиты от ботов
Заключительный блок дискуссии был посвящён перспективам рынка средств защиты от ботов. Мы попросили экспертов обрисовать основные тренды, которые будут влиять на этот сектор в ближайшие два-три года, и порассуждать о том, чего можно ожидать как заказчикам, так и вендорам.
По мнению Ивана Кашилова, проблема противодействия ботам станет в будущем более актуальной и большее количество заказчиков поймут её важность. Боты, имитирующие поведение пользователя, будут становиться всё более «умными» и сложными, а инструменты для блокировки вредоносных роботов — более прозрачными для пользователя. Как отметил эксперт, интернет стал полноценной средой для ведения бизнеса, а количество связанного с ботами трафика ежегодно растёт, по некоторым оценкам составляя до половины общего объёма передаваемых данных.
Анастасия Топоркова высказала мнение, что в ближайшем будущем специализированные решения станут более доступными, поскольку проблема защиты от ботов станет ещё более актуальной. Внедрять такие системы станет проще, поскольку в данный момент не все потенциальные заказчики обладают необходимыми ресурсами для этого.
Как отметил Зафар Астанов, рынок корпоративных заказчиков заинтересован в решении, которое можно будет гибко настраивать под собственные запросы и веб-ресурсы, поскольку архитектура сайта в разных компаниях может существенно различаться. Ещё одно направление развития антибот-решений — идентификация посетителей сайта и разграничение доступа к его страницам без прохождения процедуры авторизации.
Иван Новиков считает, что вендоры систем защиты от ботов будут двигаться в сторону модульности своих решений, постепенно переходя к предложению специализированных блоков, нацеленных на работу с определёнными операционными системами или типами устройств, а также компонентов ориентированных на определённые предметные области.
Финальный опрос зрителей онлайн-конференции показал, что они в целом позитивно оценивают потенциал антибот-решений. Так, 26 % заявили, что убедились в правильности выбранной ранее защиты, а ещё 18 % заинтересовались этими технологиями и хотели бы начать их тестирование. Вместе с тем 42 % респондентов считают защиту от ботов перспективной, но пока избыточной для их компании. Ещё 3 % будут менять поставщика по результатам просмотра прямого эфира. По мнению 11 % опрошенных, участники не смогли объяснить необходимость средств защиты для ботов, но тем не менее абсолютно все зрители поняли, о чём шла речь в процессе дискуссии!
Рисунок 4. Каково ваше мнение о защите от ботов после эфира?
Выводы
В процессе дискуссии эксперты онлайн-конференции AM Live рассказали о ключевых подходах к защите от вредоносных ботов и описали методы фильтрации с минимальным воздействием на легитимный трафик. Как показал прямой эфир, рынок таких систем имеет высокий потенциал роста, поскольку количество ботов в интернете имеет устойчивую тенденцию к увеличению. Пока подобные решения не используются массово, однако снижение стоимости и упрощение процесса внедрения анти-ботов могут привести к значительному увеличению доли их пользователей.
Онлайн-конференции AM Live регулярно собирают в студии Anti-Malware.ru экспертов с высоким уровнем профессиональных знаний по заявленным темам. Чтобы иметь возможность задать вопрос нашим спикерам и участвовать в опросах по ходу прямого эфира, обязательно подпишитесь на наш YouTube-канал и не забудьте включить уведомления о новых материалах, чтобы не пропустить анонс. До встречи в эфире!
