Методология теста антивирусов на быстродействие (май 2011)

Введение

Данная методология теста является результатов совместной работы и интеллектуальной собственностью экспертного сообщества Anti-Malware.ru.

Открытое обсуждение методологии теста проводилось на нашем форуме в течение продолжительного времени до начала теста, когда каждый желающий мог внести свои предложения по предстоящему тесту.

В тестировании участвовали следующие антивирусные программы (представленные ниже сборки актуальны на момент начала тестирования - 05.03.2011):

1. Avast Internet Security 6.0.1000.0
2. AVG Internet Security 2011 10.0.0.1074 
3.  Avira Premium Security Suite 10.0.0.592
4. BitDefender Internet Security 2011 14.0.28.351
5. Comodo Internet Security 5.3.181415.1237
6. Dr.Web Security Space 6.00.1.01310
7. Emsisoft Anti-Malware 5.1.0.0
8. Eset Smart Security 4.2.67.10
9. F-Secure Internet Security 2011 1.30.4220.0
10. G DATA Internet Security 2011 (21.1.0.5)
11. Kaspersky Internet Security 2011 11.0.2.556
12. McAfee Internet Security 2011 4.5.147.0
13. Microsoft Security Essentials 2.0.657.0
14. Norton Internet Security 2011 18.1.0.37
15. Outpost Security Suite Pro 7.1 3415.520.1247.404
16. Panda Internet Security 2011 16.00.00
17. PC Tools Internet Security 2011 1.0.0.58
18. Trend Micro Titanium Internet Security 2011 3.0.0.1303
19. VBA32 Personal 3.12 3.12.14.1
20. ZoneAlarm Internet Security Suite 2010 9.3.37.0

Важно! После установки антивирусные программы обновлялись до актуального на момент проведения теста состояния, производились две принудительные перезагрузки системы и только после этого функции обновления отключались, чтобы избежать влияния на результаты измерений.

Также во избежание искажения результатов измерений отключались все задачи сканирования по расписанию. Если сделать это было невозможно, например, в случае проверки объектов автозапуска, то непосредственно перед началом измерений (записью образа системы) делалась техническая пауза для завершения этих задач (контролировалось через Process Explorer). Во время тестирования тестовый стенд был подключён к интернету, что позволяло продуктам использовать встроенные в них «облачные» технологии.

Описание среды тестирования

Перед началом теста производилась подготовка среды тестирования. Для этого на чистый компьютер была установлена операционная система Microsoft Windows 7 x86 со всеми доступными на этот момент обновлениями, а также дополнительное программное обеспечение, необходимое для теста.

Ниже представлены основные характеристики компьютера, на котором проводился тест (см. таблицу 1), и список установленного на нем программного обеспечения (см. таблицу 2).

Таблица 1: Платформа для проведения теста

Таблица 2: Список установленных программ

После установки операционной системы и всего необходимого программного обеспечении производились следующие действия:

1. Отключение "паразитных" функций операционной системы, способных повлиять на результат теста (обновление, хранитель экрана, Windows Security Notification, Windows Firewall, Windows Defender, Prefetching).
2. Запуск Windows Boot-Timer с отсрочкой перезагрузки системы.
3. Создание образа "эталона" системы при помощи Acronis True Image.
4. Формирование тестовой коллекции чистых файлов различного типа и размера (системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы).

Таким образом, был создан исходный образ системы, который использовался в качестве исходного/эталонного.

Лицензия на Acronis True Image  специально для этого теста была предоставлена Aflex Software , представителем компаний Acronis, Parallels, ASPLinux в России и СНГ.

Windows Boot-Timer – специальная утилита для измерения времени старта операционной системы Windows. Программа начинает измерять время после инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

AppTimer – специальная утилита PassMark Software для измерения времени старта приложений. Данная утилита использовалась с настройками по умолчанию.

Измерение скорости работы эталонной системы (без установки антивируса)

Для расчета замедления системы антивирусом необходимо измерить все параметры для эталонной системы. Для этого производились следующие действия:

1. Восстановление системы из образа-эталона.
2. Запись времени загрузки эталона (при помощи Windows Boot-Timer).
3. Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла).
4. Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
5. Возврат к пункту 1 – повторение всего набора измерений (5 циклов).

Важно! Измерения всех параметров быстродействия и ресурсоемкости производилось 5 раз, результаты за вычетом граничных усреднялись. При этом для каждой итерации система возвращалась из образа, в данном случае из образа-эталона.

Измерение скорости загрузки системы с антивирусом

Время загрузки системы является одним из важных параметров ее работы. Для измерения времени загрузки системы использовалась утилита Windows Boot-Timer, которая позволяет измерять время с момента завершения инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

Каждый антивирус устанавливался на отдельный экземпляр эталонного образа системы, что создавало абсолютно одинаковые условия для всех испытуемых продуктов.

После установки каждого антивируса, обновления и нескольких технических перезагрузок производилась фиксация образа системы, что позволяло серьезно сэкономить время проведения теста.

Алгоритм измерений в этой части теста можно представить в следующем виде: 

1. Восстановление системы из образа эталона.
2. Установка антивируса и перезагрузка системы.
3. Обновление антивируса.
4. Запись настроек по умолчанию в сводную таблицу (проверка типов файлов, включенные модули и т.п.).
5. Перезагрузка системы.
6. Отключение функций автоматического обновления антивируса и отключение старта других задач по расписанию.
7. Запуск Windows Boot-Timer (отсрочка перезагрузки системы).
8. Создание образа системы с установленным антивирусом при помощи Acronis True Image (далее «образ с антивирусом»).
9. Восстановление системы из вновь созданного образа (пункт 8).
10. Запись времени загрузки (при помощи Windows Boot-Timer).
11. Возврат к пункту 9 – повторение измерений (5 циклов).

Важно! Измерение времени загрузки системы производилось 5 раз, при этом перед каждым новым измерением система восстанавливалась до первоначального образа с установленным антивирусом (возврат к пункту 9). Результаты за вычетом граничных усреднялись.

Измерение скорости работы антивирусного монитора, сканера по требованию и влияния антивируса на старт офисных приложений

На этом этапе теста проверялось влияние антивирусного монитора (сканера on-access) на копирование файловой коллекции (папки с коллекцией чистых незараженных файлов) с одного на другой логический диск. Кроме этого проверялось время, затраченное на проверку антивирусным сканером (сканером on-demand) этой же файловой коллекции. Характеристики файлов смотрите в Приложении 1.

Для измерения влияния антивирусов на работу с офисными приложениями при помощи специальной утилиты AppTimer производилось измерение времени старта пяти типовых приложений:

1. Internet Explorer 8.0.7600.16385
2. Microsoft Word 2007
3. Microsoft Outlook 2007
4. Adobe Acrobat Reader 9.4.2
5. Adobe Photoshop CS5

Для полноты картины проводилось измерение объема потребляемой оперативной памяти в состоянии покоя и при сканировании по требованию тестовой коллекции при помощи утилиты Process Explorer. Кроме этого измерялся уровень использования процессора в состоянии покоя и во время сканирования по требованию.

В данной части теста измерялись следующие показатели:

1. Свободные системные ресурсы в состоянии покоя (5 циклов для каждого антивируса).
2. Время копирования тестовой коллекции файлов, измерение времени (5 циклов для каждого антивируса). Откат системы после каждого прогона.
3. Время сканирования тестовой коллекции файлов сканером по требованию (5 циклов для каждого антивируса). Откат системы после каждого прогона.
4. Свободные системные ресурсы при копировании и сканировании тестовой коллекции (5 циклов для каждого антивируса).
5. Время повторного сканирование тестовой коллекции сканером для определения эффективности работы технологий оптимизации проверки, использующихся в антивирусных продуктах. Для этого повторное сканирование производится после обычной перезагрузки системы, когда первое сканирование файлов уже произведено (1 цикл для каждого антивируса).
6. Время старта офисных приложений (5 циклов для каждого антивируса). Откат системы после каждого сета.

Алгоритм измерений в этой части теста можно представить в следующем виде: 

1. Восстановление системы из образа с антивирусом.
2. Измерение свободных системных ресурсов в состоянии покоя.
3. Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла) и свободных при этом системных ресурсов.
4. Возврат к пункту 1 – повторение всего набора измерений (5 циклов).
5. Восстановление системы из образа с антивирусом.
6. Измерение времени сканирования тестовой коллекции файлов и свободных при этом системных ресурсов.
7. * Однократное измерение времени повторного сканирования коллекции файлов.
8. Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
9. Возврат к пункту 5 – повторение всего набора измерений (5 циклов).

Важно! Измерение времени копирования, времени сканирования тестовой коллекции файлов, времени старта офисных программ и потребляемых в состоянии покоя ресурсов производилось 5 раз, при этом перед каждым новым измерением система восстанавливалась до первоначального образа с установленным антивирусом (возврат к пункту 1 или пункту 5). Результаты за вычетом граничных усреднялись.

Подведение итогов теста

Полученные в ходе тестирования данные нуждались в значительной обработке, которую можно разделить на несколько этапов:

1. Фильтрация и усреднение результатов пяти измерительных итераций (была выбрана функция, при которой отбрасывались два крайних результата, а от трех оставшихся вычислялось среднее значение).
2. Расчет замедлений системы с тем или иным антивирусом относительно эталона по каждому критерию.
3. Нормирование результатов в процентах относительно эталонных значений.
4. Формирование рейтингов быстродействия антивирусов для ключевых параметров.
5. Награждение лучших антивирусов в соответствии с выбранной системой наград.

Приложение 1: Состав файловой коллекции 

Коллекция включала следующие файлы различного типа и размера: системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы. Всего 5031 файл 67 типов (по расширению), суммарный размер коллекции 5,7 Гб.