Методология теста корпоративных антивирусов на быстродействие (февраль 2012)

Введение

Данная методология теста является результатом совместной работы и интеллектуальной собственностью экспертного сообщества Anti-Malware.ru.

Открытое обсуждение представленной методологии проводилось на нашем форуме в течение продолжительного времени до начала теста, когда каждый желающий мог внести по нему свои предложения.

В таблице 1 представлены участвовавшие в тестировании антивирусные программы (представленные ниже сборки актуальны на момент начала теста - 01.12.2011). Отдельно приводятся версии для агентов, серверов и консолей управления.

Таблица 1. Версии тестируемых антивирусных продуктов

Важно! После установки антивирусные программы обновлялись до актуального на момент проведения теста состояния, производились две принудительные перезагрузки системы и только после этого функции отключались обновления, чтобы избежать влияния на результаты измерений. Отключались как обновления антивирусных баз, так и обновления модулей программ.

Также, во избежание искажения результатов измерений, отключались все задачи сканирования по расписанию. Во время тестирования тестовый стенд был подключён к Интернету, что позволяло продуктам использовать встроенные в них «облачные» технологии.

Описание среды тестирования

Перед проведением тестирования собирался тестовый стенд. Он включал в себя четыре персональных компьютера одинаковой конфигурации, объединенных в локальную сеть. Функции компьютеров распределялись следующим образом:

1. Компьютер №1. Сервер администрирования и консоль управления.
2. Компьютер №2. Клиент 1.
3. Компьютер №3. Клиент 2.
4. Компьютер №4. Машина с Apache (см. табл.3), на которой были выложены файлы для скачивания по http. Apache использовался с настройками «по умолчанию».

На компьютере с сервером управления была установлена операционная система Microsoft Windows Server 2008, а на компьютерах с клиентами и компьютере с Apache была установлена операционная система Microsoft Windows XP SP3 и набор прикладных программ (таблица 2). Операционные системы содержали все доступные на момент начала тестирования обновления. На компьютер №4 устанавливался Apache HTTP Server и выкладывались на доступ два файла.

Таблица 2: Платформа для проведения теста

Таблица 3: Список установленных программ

Устанавливаемые настройки

Настройки операционных систем на клиентских машинах

Чтобы уменьшить влияние работы операционной системы на результаты измерения быстродействия, на компьютерах с клиентами были отключены следующие службы и компоненты: автоматическое обновление, брандмауэр Windows, оповещения системы безопасности, центр обеспечения безопасности, Prefetcing. Также были отключены все настройки оформления пользовательского интерфейса операционной системы.

Компоненты тестируемых продуктов

Корпоративные продукты для обеспечения безопасности у разных производителей имеют существенные различия в архитектуре и наборе компонентов. Чтобы создать для всех продуктов равные условия в процессе тестирования, необходимо, чтобы набор используемых в процессе тестирования компонентов был одинаковым. Также нужно учитывать реальные условия использования корпоративных антивирусов на предприятиях. Перед началом тестирования был проведен анализ компонентов всех продуктов.

Таблица 4: Компоненты тестируемых продуктов

* Как таковой отсутствует, можно разрешать доступ к конкретным файлам и папкам.
** Отдельный продукт.
*** Нет, есть Web Reputation (получение данных о веб-страницы из «облака»).
**** Модуль анти-спам отсутствует

В результате было принято решение, что у всех продуктов должны быть включены следующие компоненты:

1. Антивирусный сканер.
2. Антивирусный монитор.
3. Фаервол. Для McAfee VirusScan Enterprise фаервол устанавливался в виде отдельного продукта.
4. Веб-антивирус.
5. Контроль приложений.  Компонент «Контроль приложений» присутствовал в 7 продуктах (за исключением ESET Smart Security), поэтому, было принято решение включить его в состав установки там, где это было возможно. Для McAfee VirusScan Enterprise контроль приложений устанавливался в виде отдельного продукта.
6. «Облачные технологии». Облачные технологии отсутствовали в 3 продуктах из 8, однако так как они используются в работе сканера и веб-антивируса, то было принято решение включить их при тестировании.

Были отключены следующие компоненты:

1. Контроль устройств. Причины: во-первых, в тесте не проводится тестирование с участием внешних устройств, во-вторых, функциональность данного компонента сильно отличается в разных продуктах (от возможности блокировать только флешки до многопараметрического блокирования большого количества устройств).
2. Почтовый антивирус (включает и модуль анти-спам). Причина: в реальной сети данные функции в основном используются в виде программного или программно-аппаратного решения на сервере, чтобы не замедлять работу компьютеров пользователей.
3. Веб-фильтрация (фильтрация файтов по категориям). Причина: в реальной сети данные функции в основном используются в виде программного или программно-аппаратного решения на сервере, чтобы не замедлять работу компьютеров пользователей.
4. Специфические для продуктов модули (IM-антивирус для Kaspersky Endpoint Security 8.1). Причина: отсутствие данных компонентов у большинства продуктов.

Настройки тестируемых продуктов

У всех продуктов были установлены следующие настройки:

• включение сканирования всех типов файлов, кроме архивов;
• сканирование при доступе к файлу и при копировании файлов;
• отключение всех задач сканирования по расписанию и обновлений;
• при нахождении угрозы применять лечение;
• эвристический анализ для сканера и монитора включен. Настройки эвристического анализа – «по умолчанию»;
• уровень глубины анализа для всех режимов сканирования (сигнатурный, эвристический) – «по умолчанию»;
• детектирование RiskWare отключено;
• включены все технологии оптимизации сканирования, встроенные в продукт. Например, технологии хеширования файлов при первом сканировании.

Все остальные настройки не изменялись, использовались значения по умолчанию.

Подготовка к тестированию

Перед тестированием были созданы образы исходной системы (так называемый «эталон») всех для компьютеров при помощи Acronis True Image. После этого создавался набор образов для тестирования каждого продукта. Для этого выполнялись следующие действия для каждого из продуктов:

1. Установка сервера администрирования и консоли управления на компьютер №1.
2. Установка клиентов на компьютеры №2 и №3.
3. Скачивание через сервер администрирования всех доступных обновлений баз и модулей и обновление их на клиентских машинах.
4. Запись на жесткий диск компьютеров с клиентами тестовой коллекции файлов (см. приложение 1).
5. Запуск Windows Boot-Timer с отсрочкой перезагрузки системы.
6. Создание образов систем с установленными продуктами на компьютерах №1-3 при помощи Acronis True Image.

Процедура тестирования

Тестирование было разделено на два этапа. На первом этапа проводилось тестирование «эталонной» системы для измерения времени различных операций без установленного антивируса. Эти данные использовались для расчета замедления системы антивирусом. На втором этапе проводилось тестирование систем с установленными антивирусами. Объем тестов на первом и втором этапе совпадал, за исключение теста сканирования тестовой коллекции файлов (On-demand), который не проводился на «эталонной системе».

Важно! Для уменьшения влияния нестабильности работы операционной системы тестирование параметров быстродействия и ресурсоемкости производилось 5 раз. Полученные результаты за вычетом граничных усреднялись. Каждое измерение проводилось после восстановления операционной системы из заранее записанного образа. Некоторые параметры, для которых получалась только качественная оценка, измерялись один раз, что отдельно указывается в описании теста.

Измерение скорости загрузки системы с антивирусом

Время загрузки системы является одним из важных параметров ее работы. Клиент антивируса и адаптер для связи с сервером управления прописывается в автозагрузку системы и запускаются при каждой загрузке системы. Поэтому время замедления загрузки системы с антивирусом относительно загрузки «эталонной» системы является важным параметром тестируемых продуктов. Так как образы с тестируемыми продуктами создавались на основе одного «эталонного» образа, то измеренная задержка загрузки системы однозначно связана с работай антивируса.

Для измерения времени загрузки системы использовалась утилита Windows Boot-Timer, которая позволяет измерять время с момента завершения инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

Измерение времени загрузки производится 5 раз для «эталона» и каждого продукта.

Измерение скорости работы антивирусного монитора

Проверялось влияние антивирусного монитора (сканера on-access) на время копирования файловой коллекции (папки с коллекцией чистых незараженных файлов). В этом тесте проводились следующие измерения:

• Измерение времени копирования тестовой коллекции файлов на клиенте №1 с одного жесткого диска на другой жесткий диск (5 циклов).
• Измерение времени повторного копирования тестовой коллекции файлов на клиенте №1 с одного жесткого диска на другой жесткий диск (1 цикл). Измерение проводилось для выявления эффективности работы технологий оптимизации проверки при повторном копировании. Так как предполагалось получить качественный результат — есть ли оптимизация или нет, то измерение проводилось 1 раз.
• Измерение времени копирования тестовой коллекции файлов на клиенте №2 с одного жесткого диска на другой жесткий диск (1 цикл). Измерение проводилось для выявления наличия технологий оптимизации проверки между клиентами при копировании. Так как предполагалось получить качественный результат — есть ли оптимизация или нет, то измерение проводилось 1 раз.

Измерение скорости работы антивирусного сканера

Измерение времени, затрачиваемого на проверку антивирусным сканером (сканером on-demand) файловой коллекции. Использование антивирусного сканера является достаточно редкой ситуацией в работе корпоративных продуктов, т. к. его работа может повлиять на эффективность деятельности пользователя. Поэтому в данном тесте измерение проводилось 1 раз для качественного сравнения полученных результатов.

Данный тест по понятным причинам не проводился на системе с «эталоном».

Измерение скорости загрузки файлов по http

Проверялось влияние веб-антивируса на время загрузки файлов с сервера по http. С сервера загружался исполняемый файл (расширение «*.exe») размером 400 Мб. В этом тесте проводились следующие измерения:

1. Загрузка файла с сервера на клиент №1 (5 циклов).
2. Повторная загрузка файла с сервера на клиент №1 (1 цикл). Измерение проводилось для выявления эффективности работы технологий оптимизации проверки при повторной загрузке. Так как предполагалось получить качественный результат — есть ли оптимизация или нет, то измерение проводилось 1 раз.
3. Загрузка файла с сервера на клиент №2 (1 цикл). Измерение проводилось для выявления наличия технологий оптимизации проверки между клиентами при загрузки файла с сервера по http. Так как предполагалось получить качественный результат — есть ли оптимизация или нет, то измерение проводилось 1 раз.

Измерение влияния антивируса на запуск прикладных программ

Работа антивируса может существенно влиять на время запуска прикладных программ, с которыми работает пользователь. Измерение влияния антивирусов на запуск прикладных программам проводилось при помощи специальной утилиты AppTimer (5 циклов для каждой программы). Для части приложений измерение проводилось несколько раз — без файла (так называемый «чистый запуск»), по открытию маленького файла и по открытию большого файла. Это позволяло измерить влияние антивируса на различные реальные ситуации. Например, Microsoft Office Word чаще всего запускается не сам по себе, а по открытию какого-либо файла. Чтобы исключить влияние оптимизации при запуске одной программы более одного раза на результаты тестирования во всех циклах для всех продуктов всегда выдерживалась одна и та же последовательность запуска программ. Т.е. все программы запускались строго друг за другом в указанной ниже последовательности. Это позволяет при сравнительном тестировании нескольких продуктов исключить влияние указанной оптимизации на результаты измерения. В этом тесте проводились измерения при запуске следующих программ:

1. Microsoft Office Outlook (чистый запуск, без файла).
2. Microsoft Office Word (чистый запуск, без файла).
3. Microsoft Office Word (маленький файл).
4. Microsoft Office Word (большой файл).
5. Microsoft Office Excel (чистый запуск, без файла).
6. Microsoft Office Excel (маленький файл).
7. Microsoft Office Excel (большой файл).
8. Microsoft Office PowerPoint (чистый запуск, без файла).
9. Microsoft Office PowerPoint (маленький файл).
10. Microsoft Office PowerPoint (большой файл).
11. Microsoft Internet Explorer (чистый запуск, без файла).
12. Google Chrome (чистый запуск, без файла).
13. Mozilla Firefox (чистый запуск, без файла).
14. Adobe Reader (чистый запуск, без файла).
15. Adobe Reader (маленький файл).
16. Adobe Reader (большой файл).
17. Adobe Photoshop (чистый запуск, без файла).
18. Adobe Photoshop (маленький файл).
19. Adobe Photoshop (большой файл).
20. AutoCAD (запуск с файлом).
21. WinZIP (чистый запуск, без файла).
22. WinZIP (маленький файл).
23. WinZIP (большой файл).
24. Microsoft Visual Studio  (запуск с файлом)
25. 1C предприятие (чистый запуск, без файла).
26. Skype (чистый запуск, без файла).

Измерение параметров системных ресурсов

В процессе тестирования проводилось измерение объема потребляемой оперативной памяти и загрузка центрального процессора. Оценка системных ресурсов проводилась на системах с антивирусами относительно «эталонной» системы. На системах с антивирусом измерение системных ресурсов проводилось в следующих ситуациях:

1. В состоянии покоя.
2. Во время измерения скорости работы антивирусного монитора
3. Во время измерение скорости работы антивирусного сканера
4. Во время измерение скорости загрузки файлов по http.
5. Во время измерение влияния антивируса на запуск прикладных программ.

Измерения системных ресурсов проводилось во время каждой итерации указанных измерений.

Подведение итогов теста

Полученные в ходе тестирования данные нуждались в обработке, которую можно разделить на несколько этапов:

• Фильтрация и усреднение результатов измерения по пяти итерациям  (была выбрана функция, при которой отбрасывались два крайних результата, а от трех оставшихся вычислялось среднее значение).
• Расчет замедлений системы с тем или иным антивирусом относительно эталона по каждому критерию.
• Нормирование результатов в процентах относительно эталонных значений.
• Формирование рейтингов быстродействия антивирусов для ключевых параметров.
• Награждение лучших антивирусов в соответствии с выбранной системой наград.

Приложение 1: Состав тестовой коллекции

Коллекция включала следующие файлы различного типа и размера: системные файлы Windows, файлы установленных программ, дистрибутивы, документы и медиафайлы. Всего 4091 файл 66 типов (по расширению), суммарный размер коллекции 4,038 Гб.