Методология теста персональных антивирусов на быстродействие (март 2012)

Введение

Данная методология теста является результатом совместной работы и интеллектуальной собственностью экспертного сообщества Anti-Malware.ru.

Открытое обсуждение представленной методологии проводилось на нашем форуме в течение продолжительного времени до начала теста, когда каждый желающий мог внести по нему свои предложения.

В таблице 1 представлены участвовавшие в тестировании антивирусные программы (представленные ниже сборки актуальны на момент начала теста - 01.12.2011). 

Таблица 1: Тестируемые антивирусные продукты и их версии

Важно! После установки антивирусные программы обновлялись до актуального на момент проведения теста состояния, производились две принудительные перезагрузки системы и только после этого функции обновления отключались, чтобы избежать влияния на результаты измерений. Отключались как обновления антивирусных баз, так и обновления модулей программ.

Также, во избежание искажения результатов измерений, отключались все задачи сканирования по расписанию. Во время тестирования тестовый стенд был подключён к Интернету, что позволяло продуктам использовать встроенные в них «облачные» технологии.

Описание среды тестирования

Перед началом теста производилась подготовка среды тестирования. Для этого на чистый компьютер была установлена операционная система Microsoft Windows 7 Home Premium x86 со всеми доступными на этот момент обновлениями, а также дополнительное программное обеспечение, необходимое для теста.

Ниже представлены основные характеристики компьютера, на котором проводился тест (см. таблицу 2), и список установленного на нем программного обеспечения (см. таблицу 3).

Таблица 2: Платформа для проведения теста

Таблица 3: Список установленных программ

Чтобы уменьшить влияние работы операционной системы на результаты измерения быстродействия, на компьютерах с клиентами были отключены следующие службы и компоненты: оповещения Центра поддержки, брандмауэр, автоматическое обновление, superfetch, prefetching, темы, Windows Search, центр обеспечения безопасности, служба управления ошибками. Также были отключены все настройки оформления пользовательского интерфейса операционной системы.

Настройки антивирусных продуктов не изменялись, использовались значения «по умолчанию».

Перед тестированием был создан образ исходной системы (так называемый «эталон») при помощи Acronis True Image. После этого создавался набор образов для тестирования каждого продукта. Для каждого из продуктов выполнялся следующий набор действий:

1. Установка антивируса.
2. Скачивание всех доступных обновлений баз и модулей антивируса.
3. Запись на жесткий диск компьютера тестовой коллекции файлов (см. приложение 1).
4. Запуск Windows Boot-Timer с отсрочкой перезагрузки системы.
5. Создание образа системы при помощи Acronis True Image.

Процедура тестирования

Тестирование было разделено на два этапа. На первом этапа проводилось тестирование «эталонной» системы для измерения времени различных операций без антивируса. Эти данные использовались для расчета замедления системы антивирусом. На втором этапе проводилось тестирование систем с установленными антивирусами. Объем тестов на первом и втором этапе совпадал, за исключение теста сканирования тестовой коллекции файлов (On-demand), который не проводился на «эталонной системе».

Важно! Для уменьшения влияния возможной нестабильности работы операционной системы тестирование параметров быстродействия и ресурсоемкости производилось 5 раз. Полученные результаты за вычетом граничных усреднялись. Каждое измерение проводилось после восстановления операционной системы из заранее записанного образа. Некоторые параметры, для которых была необходима только качественная оценка, измерялись один раз, что отдельно указывается в описании теста.

Измерение скорости загрузки системы с антивирусом

Время загрузки системы является одним из важных параметров ее работы. Антивирус прописывается в автозагрузку системы и запускается при каждой загрузке системы. Поэтому, время замедления запуска системы с антивирусом относительно загрузки «эталонной» системы является важным параметром тестируемых продуктов. Так как образы с тестируемыми продуктами создавались на основе одного «эталона», то полученная задержка загрузки системы однозначно связана с работой антивируса.

Для измерения времени загрузки системы использовалась утилита Windows Boot-Timer, которая позволяет измерять время с момента завершения инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

Измерение времени загрузки производится 5 раз для «эталона» и каждого тестируемого продукта.

Измерение скорости работы антивирусного монитора

Проверялось влияние антивирусного монитора (сканера on-access) на время копирования файловой коллекции (папки с заведомо чистыми файлами). В этом тесте проводилось измерение времени копирования тестовой коллекции файлов с одного жесткого диска на другой (5 циклов).

Измерение скорости работы антивирусного сканера

Измерение времени, затрачиваемого на проверку файловой коллекции антивирусным сканером (сканером on-demand). В этом тесте проводились следующие измерения:

1. Измерение времени сканирования тестовой коллекции файлов (5 циклов).
2. Измерение времени повторного сканирования тестовой коллекции файлов (1 цикл). Измерение проводилось для выявления эффективности работы технологий оптимизации проверки при повторном сканировании. Так как предполагалось получить качественный результат — есть ли оптимизация или нет, то измерение проводилось 1 раз.

Данный тест, по понятным причинам, не проводился на системе с «эталоном».

Измерение влияния антивируса на запуск прикладных программ

Работа антивируса может существенно влиять на время запуска прикладных программ, с которыми работает пользователь. Измерение влияния антивирусов на запуск программ проводилось при помощи специальной утилиты AppTimer (5 циклов для каждой программы). Для части приложений измерение проводилось несколько раз — без файла (так называемый «чистый запуск»), по открытию маленького файла и по открытию большого файла. Это позволяло измерить влияние антивируса на различные реальные ситуации. Например, Microsoft Office Word чаще всего запускается не сам по себе, а по открытию какого-либо файла. Все программы запускались строго друг за другом в указанной ниже последовательности. Это делалось для того, чтобы исключить влияние оптимизации при повторном запуске программ на результаты сравнительного тестирования. В этом тесте проводились измерения при запуске следующих программ:

1. Microsoft Office Outlook (чистый запуск, без файла).
2. Microsoft Office Word (чистый запуск, без файла).
3. Microsoft Office Word (маленький файл).
4. Microsoft Office Word (большой файл).
5. Microsoft Internet Explorer (чистый запуск, без файла).
6. Adobe Reader (чистый запуск, без файла).
7. Adobe Reader (маленький файл).
8. Adobe Reader (большой файл).
9. Adobe Photoshop (чистый запуск, без файла).
10. Adobe Photoshop (маленький файл).
11. Adobe Photoshop (большой файл).
12. Media Player (большой файл).
13. Skype (чистый запуск, без файла).
14. 7-zip (чистый запуск, без файла).

Измерение замедления работы компьютерных игр

Для оценки замедления компьютерных игр при работе антивирусов использовались следующие «бенчмарки» (тестовые программы для оценки производительности): Unigine (Heawen DX11 Benchmark Basic Edition, Unigine Tropics Demo, Unigine Sanctuary Demo) и 3DMark (3DMark Vantage for DirectX 10). Для всех бенчмарков проводилось измерение частоты кадров в секунду (Frames Per Second, FPS), а для 3Dmark дополнительно проводилось измерение количество операций в секунду (Operations Per Second, OPS), выполняемых центральных процессором. Для каждого бенчмарка измерения проводились в течение 5 циклов.

Измерение параметров системных ресурсов

В процессе тестирования проводилось измерение объема потребляемой оперативной памяти и загрузка центрального процессора. Оценка используемых ресурсов проводилась на системах с антивирусами относительно «эталонной» системы. На системах с антивирусом измерение системных ресурсов проводилось в следующих ситуациях:

1. В состоянии покоя
2. Во время измерения скорости работы антивирусного монитора
3. Во время измерение скорости работы антивирусного сканера
4. Во время измерение влияния антивируса на запуск прикладных программ

Измерение системных ресурсов проводилось во время каждой указанной итерации.

Подведение итогов теста

Полученные в ходе тестирования данные нуждались в обработке, которую можно разделить на несколько этапов:

1. Фильтрация и усреднение результатов измерения по пяти итерациям  (была выбрана функция, при которой отбрасывались два крайних результата, а от трех оставшихся вычислялось среднее значение).
2. Расчет степени замедления системы с тем или иным установленным антивирусом относительно эталона по каждому критерию.
3. Нормирование результатов в процентах относительно эталонных значений.
4. Формирование рейтингов быстродействия антивирусов для ключевых параметров.
5. Награждение лучших антивирусов в соответствии с выбранной системой наград.

Приложение 1: состав тестовой коллекции

Коллекция включала следующие файлы различного типа и размера: системные файлы Windows, файлы установленных программ, дистрибутивы, документы и медиафайлы. Всего 4091 файл 66 типов (по расширению), суммарный размер коллекции 4,038 Гб.