Тест персональных IDS/IPS на защиту от атак на уязвимые приложения (июнь 2012)

В конце прошлого года наш информационно-аналитический центр провёл тест на защиту фаерволов от внутренних атак. Однако, для полноты картины, мы считаем, что нужно провести ряд дополнительных тестов, чтобы составить полное представление о возможностях различных фаерволов. Одним из ключевых здесь, с нашей точки зрения, является тестирование модулей IDS/IPS (Intrusion Detection System, Intrusion Prevention System - система обнаружения и предотвращения вторжений) на защиту от внешних атак на уязвимые приложения.

Дело в том, что на данный момент персональный фаервол в классическом понимании этого слова уже не существует. Для эффективной защиты он включать в себя модуль IDS/IPS. Если он эффективно работает, то не имеет значение открытие того или иного протокола или порта, т.к. внешняя атака все равно будет обнаружена и ликвидирована данным модулем.

Основная задача IDS/IPS - отражение сетевых атак. Под сетевой атакой здесь понимается атака компьютера, совершаемая удаленно злоумышленником или вредоносной программой. Такие атаки могут производиться из Интернета или локальной сети для получения контроля над целевой системой, несанкционированного доступа к данным или вывода системы из строя на определенный период времени. Большинство внешних сетевых атак базируются на уязвимостях операционных систем, установленных прикладных программ, протоколов или их реализаций.

Цель данного теста – показать способность IDS/IPS противостоять внешним атакам на уязвимости в операционной системе и прикладных программах. В ходе данного тестирования на уязвимую систему проводились внешние атаки при помощи различных эксплойтов. Следует отметить, что в тесте исследовались только такие атаки, при которых атака производится в пассивном режиме, т.е. в ситуации, когда пользователь не совершает никаких активных действий (не открывает файлы или веб-страницы, не скачивает данные и т.д.).

Важно отметить, что данный тест нельзя рассматривать как комплексный тест фаерволом на защиту от всех внешних атак, которых, безусловно, гораздо больше.

Методология проведения теста
Анализ результатов теста и награды

Оглавление:

- Введение
- Проверка IDS/IPS на защиту от атак типа Remote Code Execution
- Сравнение качества защиты на стандартных и максимальных настройках
- Проверка IDS/IPS на защиту от внешних DoS-атак
- Сканирование портов
- Итоговые результаты теста и награды
- Комментарии партнеров Anti-Malware.ru

Введение

В тестировании принимала участие 21 популярная программа комплексной защиты (класса Internet Security, если в линейке нет, то выбирался сугубо фаервол) от различных производителей актуальных на дату начала тестирования версий продуктов (апрель 2012) и работающих на платформе Windows XP SP3:

Тестируемые антивирусные продукты и их версии

Для тестирования использовалась WindowsXP SP3 без последних обновлений. Обновления не ставились для того, чтобы смоделировать систему с не закрытыми уязвимостями и проверить работу продуктов в условиях, максимально приближённых к реальным.

Перед тестом было проверено, что все используемые атаки успешно проходят и что все атаки отражаются при установке последних обновлений операционной системы или стороннего программного обеспечения.

Тестирование производилось на двух типах настроек: рекомендуемых производителем стандартных (настройки по умолчания) и максимальных.

В первом случае использовались рекомендуемые производителей настройки по умолчанию и производились все рекомендуемые программой действия.

Во втором случае все настройки, которые были отключены в режиме «по умолчанию», но при этом могли повлиять на исход тестирования, включались и/или приводились в максимальное положение (наиболее строгие настройки). Другими словами – под выставлением максимальных настроек понимается перевод всех доступных из графического интерфейса пользователя настроек всех модулей, связанных с детектированием вредоносной файловой или сетевой активности, к наиболее строгому варианту.

Согласно методологии в тесте использовались два типа сетевых атак:

1. DoS-атака (атака типа «отказ в обслуживании», от англ. DenialofService) — атака на вычислительную систему с целью доведения её до отказа.
2. Remote Code Execution (удалённое выполнение кода) – данный вид атаки заключается в использовании уязвимости целевой машины для выполнения на ней произвольного кода.

Также проводилось сканирование портов атакуемого компьютера и проверка того, что антивирусные продукты обнаруживают это сканирование.

Подробное описание всехметодов атак, используемых в тесте, вы можете найти в методологии тестирования.

Проверка IDS/IPS на защиту от атак Remote Code Execution

Согласно методологии для тестирования IDS/IPS использовалось 10 атак типа Remote Code Execution, использующих различные уязвимости в операционной системе и прикладном программном обеспечении. Критерии начисления баллов приведены в схеме награждения, при этом максимальное количество набранных баллов в данном тесте составило 17.

В таблицах 1, 2 и на рисунках 1, 2 представлены результаты тестирования IDS/IPS отдельно на стандартных и максимальных настройках.

Таблица 1. Результаты теста IDS/IPS от атак типа Remote Code Execution на стандартных настройках

Рисунок 1. Результаты теста IDS/IPS от атак типа Remote Code Execution на стандартных настройках

* Для Trend Micro было воспроизведено на одну атаку меньше, чем для всех остальных продуктов, т.к. данный продукт не совместим с IE6, используемым одним из эксплойтов. Следовательно, результат рассчитывается, исходя из максимума в 15 баллов, а не в 17.

Как мы видим на рисунке 1, защита от внешних атак у большинства IDS/IPS на рекомендуемых производителем настройках оставляет желать лучшего. Всего два продукта смогли преодолеть барьер 80% со стандартными настройками, среди них Kaspersky и Norton. Еще два продукта – McAfee (71%) и Comodo (65%) ближе всего подбираются к лидерам. Только эти четверо из протестированных продуктов смогли отразить более половины внешних атак.

Еще одну группу составляют продукты Trend Micro, Avast, Avira, Dr.Web, Eset и BitDefender, которые смогли отразить примерно половину всех атак и получили от 47% до 59%. В основном они смогли предотвратить только несколько нашумевших видов атак с использованием таких уязвимостей как Stuxnet Print Spooler (MS10-06,) Shell LNK (MS10-046),  SMB Relay (MS08-068), а также IE DHTML Behaviors Use After Free (MS09-001) и Microsoft DirectShow MPEG-2 Memory Corruption (MS09-032).

Остальные продукты отразили менее 4 атак.

Таблица 2. Результаты теста IDS/IPS от атак типа Remote Code Execution на максимальных настройках

Рисунок 2. Результаты теста IDS/IPS от атак типа Remote Code Execution на максимальных настройках

* Для Trend Micro было воспроизведено на одну атаку меньше, чем для всех остальных продуктов, т.к. данный продукт не совместим с IE6, используемым одним из эксплойтов. Следовательно, результат рассчитывается, исходя из максимума в 15 баллов, а не в 17.

Как видно из результатов,при включении максимальных настроек качество защиты от внешних атак у многих протестированных продуктов не изменилось.

Здесь очень важно отметить, что некоторые протестированные продукты не имеют настроек, которые каким-либо образом могли бы повлиять на качество работы сетевых IDS/IPS на результаты нашего теста. Поэтому, результаты 13 из 21 продуктов на стандартных и максимальных настройках оказались одинаковыми.

Сравнение качества защиты на стандартных и максимальных настройках

Исходя из методологии теста, суммирование или усреднение результатов одного и того же продукта с различными настройками не производится. Полученные по одному продукту на разных настройках результаты сравниваются между собой.

Для наглядности итоговые результаты теста IDS/IPSсо стандартными и максимальными настройками были объединены и в таблице 3, и на рисунке 3.

Таблица 3. Сводные результаты теста IDS/IPS на стандартных и максимальных настройках

Рисунок 3. Сводные результаты теста IDS/IPS на стандартных и максимальных настройках

Представленные данные показывают, что только у 8 продуктов из 21 выявлены различия на стандартных и максимальных настройках. Для таких продуктов, как Comodo, Trend Micro, G DATA, Panda, PC Tools, AVG, ZoneAlarm использование максимальных настроек позволяет увеличить количество блокируемых атак. Особенно заметно это влияние для продуктов G DATA, Panda и PC Tools, у которых разница составляет 24%. Это говорит о том, что на максимальных настройках продукты блокирует на 2 внешние атаки больше, чем на стандартных настройках. Максимальные настройки всех продуктов можно посмотреть, скачав архив arhiv.zip.

У остальных продуктов либо нет настроек для увеличения уровня защиты (например, Online Armor, Online Solutions, Jetico, Avast и т.д.), либо их изменение не приводит к увеличению эффективности отражения внешних атак.

Проверка IDS/IPS на защиту от внешних DoS-атак

Согласно методологии для тестирования IDS/IPSиспользовалось 6 атак DoS-атак, воспроизводящих различные уязвимости в операционной системе и прикладном программном обеспечении  (подробные результаты по каждому из них можно посмотреть в отчете в формате Excel). Результаты тестирования IDS/IPS на отражение DoS-атак представлены в таблице 4.

Таблица 4. Сводные результаты защиты IDS/IPS от DoS-атак

Из воспроизводимых в тесте шести DoS-атак по одному разу были отражены только две атаки. Kaspersky смог отразить «Doom 3 engine format-string vulnerability», а Norton – «Microsoft Windows EOT Font Table Directory Integer Overflow». Остальные DoS-атаки не смог отразить ни один продукт. Данные результаты могут быть вызваны двумя причинами – большой сложностью данных атак в связи с использованием в уязвимостях, специфичных программных механизмов или отнесением производителями данных атак к угрозам, которые не могут причинить большой вред пользователям.

Так как защита от DoS-атак не является ключевым направлением для персональных продуктов защиты, что было наглядно продемонстрировано в данном тесте, то награды по данной категории не вручались.

Сканирование портов

Также в рамках тестирования проводилось сканирование портов компьютера и проверялось – обнаруживает ли это IDS/IPS. Результаты теста представлены в таблице 5.

Таблица 5. Результаты обнаружения сканирования портов

К большому удивлению, только восемь продуктов смогли обнаружить сканирование портов. К ним относятся такие продукты, как AVG, Avira, BitDefender, Eset, GDATA, Kaspersky, Outpost и Panda. Так как сканирование само по себе не является атакой и не представляет опасности для компьютера, то данные результаты не включались в итоговую оценку.

Итоговые результаты теста и награды

Так же, как и в тесте на фаерволов на защиту внутренних атак, было принято решение не усреднять результаты одного и того же продукта с различными настройками, а рассматривать их независимо друг от друга. Таким образом, каждый из протестированных продуктов может получить две награды, по одной на каждом виде настроек.

В соответствии со схемой награждения лучшие IDS/IPSполучают награды с указанием использованных при этом настроек, см. таблицу 6.

Таблица 6. Итоговые результаты теста IDS/IPS на стандартных и максимальных настройках

Т.к. ни один из тестируемых продуктов не смог отразить все 10 используемых атак, награда Platinum PersonalIDS/IPS Award остаётся без присвоения.

Лучше результаты показали продукты Kaspersky и Norton, набравшие 94% и 82% соответственно как на стандартных, так и на максимальных настройках. Kaspersky смог отразить 9 атак из 10, а Norton - 7 атак из 10. Эти два продукта получают награду Gold PersonalIDS/IPS Award

Хорошие результат показали продукты Comodo, McAfee и Trend Micro. Они набирают от 65% до 80% и получают награду Silver PersonalIDS/IPS Award. При этом только Trend Micro показал данные результаты на максимальных настройках,Comodo и McAfee получают данную награду для всех типов настроек.

Бронзовые награды Bronze PersonalIDS/IPSAwardполучили такие продукты, как Avast, Avira, Dr.Web, Eset, G Data, Panda, PC Tools, Trend Micro (стандартные настройки), AVG, BitDefenderи ZoneAlarm. Их результаты попали в диапазон от 45% до 65%. Часть продуктов получила данные результаты только на максимальных настройках.

Ознакомиться с подробными результатами теста и итоговых расчетов, вы можете, скачав результаты теста в формате Microsoft Excel.

Шабанов Илья, управляющий партнер Anti-Malware.ru:

«О наличии в составе своих хостовых продуктов системы обнаружения и предотвращения вторжений IDS/ IPS рассказывают все уважаемые себя производителя. Однако, их реальная эффективность и необходимость оставалась неизвестной. Этим тестом мы хотели на простейших примерах отделить реально работающие хостовые IDS/ IPS от «маркетинговых пустышек», где этот модуль числится только для галочки.

Результаты теста оказались для нас, во многом, неожиданными. Заметно лучше с ним справились те вендоры, которые имеют большую экспертизу в антивирусной сфере и создании IDS/ IPS корпоративного класса. Но в целом по индустрии результаты совсем не радуют. Совсем печально обстоят дела с защитой от DoS-атак – полный провал. Видимо, производители не считают это весомой угрозой и не стремятся от нее защищать.

Ключевым же выводом из теста, с моей точки зрения, является то, что практически ни один персональный IDS/ IPS не способен надежно закрыть собой дыры в системе, которые могут быть использованы злоумышленниками. И панацеей от таких атак сейчас является только своевременная установка всех обновлений!»

Картавенко Михаил, руководитель тестовой лаборатории Anti-Malware.ru:

«Тестирование IDS/IPS на защиту от атак на уязвимые приложения проводится Anti-Malware в первый раз, поэтому результаты теста не только дали ответ на вопрос об эффективности тестируемой защиты, но и породили ряд новых вопросов.

Во-первых, тестируемые продукты не отражали DoS-атаки. Только два продукта – Norton и Kaspersky отразили по одной атаке данного типа. Причиной такого поведения может быть либо использование в каждой атаке специфических программных механизмов, которые сложно отловить, либо восприятие атак данного типа как неопасных. Во-вторых, многие продукты не справились с достаточно старыми и известными атаками, такими как «NETAPI». В-третьих, не всех продукты обнаруживают, что производится сканирование портов.

Следует отметить, что все используемые уязвимости «закрываются» при установке последних обновлений для операционной системы и установке приложений с закрытыми уязвимостями. Однако, это не снимает с IDS/IPS «обязанность» отражать данные атаки, т.к. важен не сам факт отражения атаки, а возможность обнаруживать использование типичных программных механизмов для совершения атаки.

В целом порадовали результаты Kaspersky, Norton, Comodo и McAfee, показавшие на фоне всей выборки достойные результаты».

Валерий Ледовской, эксперт Anti-Malware.ru:

«Тесты персональных фаерволов должны стать неотъемлемой частью тестирования комплексных продуктов, ориентированных на обеспечение информационной безопасности. В настоящее время наблюдается дефицит подобных тестирований. Методологии на данный момент неоднозначно воспринимаются производителями, но и общего представления о том, какой должен быть персональный фаервол, какими функциями должен обладать, на данный момент тоже нет. Тестирование одной из составляющих функциональности персональных фаерволов, а именно, системы обнаружения вторжений (так называемая IDS), представленное в данном тесте, по крайней мере, покрывает ту часть функциональности персональных фаерволов, которая однозначно должна в них присутствовать. И даёт понять пользователям, что если фаервол может перекрывать входящий трафик через какие-то порты или трафик, проходящий через определённый список приложений, то это не значит, что фаервол сработает при попытке вредоносной программы использовать ту или иную уязвимость, с помощью которой можно проникнуть в систему и перехватить управление ею. Собственно, в этом основная ценность теста. Конечно, некоторые из представленных в тестировании эксплойтов сработают лишь при использовании устаревших версий браузеров. Но, во-первых, число таких кейсов в данном тестов невелико, а, во-вторых, пользователи и сейчас подчас используют настолько устаревшее ПО, что подчас удивительно, как они умудряются каждый день пользоваться возможностями Интернета и не понести никакого ущерба от воздействия вредоносных программ».

Комментарии партнеров Anti-Malware.ru

Олег Адрианов, менеджер по сертификации продуктов «Лаборатории Касперского»

«Компьютеры большинства пользователей практически постоянно подключены к сети, поэтому надежное блокирование сетевых атак является одной из ключевых задач для универсальных защитных решений, таких как Kaspersky Internet Security. Тестирование Anti-Malware.ru доказывает, что продукт «Лаборатории Касперского» по данному критерию является безусловным лидером, и способен блокировать большинство наиболее серьезных сетевых угроз, обеспечивающих возможность запуска вредоносного кода. Нельзя не обратить внимание и на то, что 12 участников тестирования не смогли достичь даже среднего показателя в 55%. Это лишний раз показывает, что по-настоящему качественное решение должно обеспечивать максимальную защиту пользователя «по всем фронтам», а не только по какому-либо одному направлению.»

Благодарности

Информационно-аналитический центр Anti-Malware.ru благодарит компанию Esage Lab за помощь в подготовке и проведении теста!

Авторы: 
Картавенко Михаил
Пушкарев Олег
Вартанян Владимир
Шабанов Илья