Введение
Данная методология теста является результатов совместной работы и интеллектуальной собственностью экспертного сообщества Anti-Malware.ru. Открытое обсуждение методологии теста проводилось на нашем форуме в течении нескольких недель до его начала, в течении которых каждый желающий мог внести свои предложения по предстоящему тесту.
В тестировании участвовали следующие антивирусные программы:
- Avast Antivirus Professional 4.8
- AVG Anti-Virus & Anti-Spyware 8.0.131
- Avira Antivir Premium 8.1.00.331
- Dr.Web 4.44
- Eset Nod32 3.0.667.0
- F-Secure Anti-Virus 2008 (8.00 build 103)
- Kaspersky Anti-Virus 2009 (8.0.0.357a.b)
- McAfee VirusScan Plus 2008 (12.1)
- Outpost Antivirus Pro 2008 (6.0.2295.253.490.303)
- Outpost Antivirus Pro 2009 (6.5.2358.316.0607)
- Panda Antivirus 2008 (3.0.100)
- Sophos Anti-Virus 7.3.3
- Norton Antivirus 2008 (15.5.0.23)
- Trend Micro Antivirus plus Antispyware 2008 (16.10.1079)
- VBA32 WinNT Workstation 3.12.7 (beta)
Все антивирусы тестировались со стандартными настройками по умолчанию. Исключение составляет только запуск задач обновления или сканирования по расписанию, которые отключались в целях минимизации ошибок измерения.
BitDefender Anti-Virus 2008/2009 и Microsoft Windows Live OneCare 2.0 были исключены из теста по из-за отсутствия возможности их установки на тестовый компьютер (некорректная работа инсталлятора при работе через прокси-сервер).
Описание среды тестирования
Перед началом теста производилась подготовка среды тестирования. Для этого на чистый компьютер была установлена операционная система Microsoft Windows XP Pro Eng SP3 (+Multilingual User Interface) со всеми доступными на этот момент обновлениями, а также дополнительное программное обеспечение, необходимое для теста.
Ниже представлены основные характеристики компьютера, на котором проводился тест (см. таблицу 1), и список установленного на нем программного обеспечения (см. таблицу 2).
Таблица 1: Платформа для проведения теста
| Процессор | АMD Athlon 64, 1800 МГц 3000+ |
| Материнская плата | Winfast NF4UK8AA (Foxconn) |
| Видеокарта | Nvideo GeForce 6600 (256 MB) |
| Оперативная память | 1024 Мб |
| Жесткий диск | 160 Гб (WDC WD1600JD-00GBB0) |
| Сеть |
100 Мбит/сек Ethernet |
Таблица 2: Список установленных программ
| Операционная система | Microsoft Windows XP Pro Eng SP3 (+MUI) со всеми обновлениями на момент теста |
| Установленные программы |
DirectX 9c AppTimer Подробный список установленных на компьютере программ смотрите здесь. |
| Настройки операционной системы | Полный список сервисов на тестовом компьютере и их статус можно посмотреть здесь. |
После установки операционной системы и всего необходимого программного обеспечении производились следующие действия:
- Отключение "паразитных" функций операционной системы, способных повлиять на результат теста (обновление, хранитель экрана, Windows Security Notification, Windows Firewall, Windows Defender, Prefetching).
- Запуск Windows Boot-Timer с отсрочкой перезагрузки системы.
- Создание образа "эталона" системы при помощи Acronis True Image.
- Формирование тестовой коллекции чистых файлов различного типа и размера (системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы).
Таким образом, был создан исходный образ системы, который будет использоваться в качестве исходного/эталонного.
Лицензия на Acronis True Image специально для этого теста была предоставлена Aflex Software, представителем компаний Acronis, Parallels, ASPLinux в России и СНГ.
Windows Boot-Timer – специальная утилита для измерения времени старта операционный системы Windows. Программа начинает измерять время после инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).
Измерение скорости работы эталонной системы (без установки антивируса)
Для расчета замедления системы антивирусом необходимо измерить все параметры для эталонной системы. Для этого производились следующие действия:
- Восстановление системы из образа эталона.
- Запись времени загрузки (при помощи Windows Boot-Timer).
- Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла).
- Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
- Измерение времени скачивания файла по протоколу HTTP.
- Возврат к пункту 1 – повторение всего набора измерений (5 циклов).
Важно! Здесь и далее измерения всех параметров быстродействия и ресурсоемкости производилось 5 раз. При этом для каждой итерации система возвращалась из образа, в данном случае из образа эталона.
Подробнее смотри Приложение 1 и Приложении 2.
Измерение скорости загрузки системы с антивирусом
Каждый антивирус устанавливался на эталонный образ системы, что создавало абсолютно одинаковые условия для всех испытуемых продуктов. После установки каждого антивируса производилась фиксация образа системы, что позволяло серьезно сэкономить время проведения теста. Алгоритм измерений этой части можно представить в таком виде:
- Восстановление системы из образа эталона.
- Установка антивируса и перезагрузка системы.
- Обновление антивируса.
- Запись настроек по умолчанию в сводную таблицу (проверка HTTP, проверка типов файлов, включенные модули и т.п.).
- Перезагрузка системы.
- Отключение функций автоматического обновления антивируса и отключение старта других задач по расписанию.
- Запуск Windows Boot-Timer (отсрочка перезагрузки системы).
- Создание образа системы с установленным антивирусом при помощи Acronis True Image (далее «образ с антивирусом»).
- Восстановление системы из вновь созданного образа (пункт 8).
- Запись времени загрузки (при помощи Windows Boot-Timer).
- Возврат к пункту 9 – повторение измерений (5 циклов).
Измерение времени копирования тестовой коллекции файлов, скорости сканирования антивирусом и других параметров производительности
- Восстановление системы из образа с антивирусом.
- Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла).
- Возврат к пункту 1 – повторение всего набора измерений (5 циклов).
- * Однократное измерение времени повторного сканирования коллекции файлов.
- Восстановление системы из образа с антивирусом.
- Измерение времени сканирования тестовой коллекции файлов.
- Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
- Измерение времени загрузки файла по протоколу HTTP.
- Измерение параметров производительности при помощи программы Performance Test.
- Возврат к пункту 5 – повторение всего набора измерений (5 циклов).
Подробнее смотри Приложение 1 и Приложение 2.
Подведение итогов теста
Полученные в ходе тестирования данные нуждались в значительной обработке, которую можно разделить на несколько этапов:
- Фильтрация и усреднение результатов пяти измерительных итераций (была выбрана функция, при которой отбрасывались два крайних результата, а от трех оставшихся вычислялось среднее значение).
- Расчет замедлений системы с тем или иным антивирусом относительно эталона по каждому критерию.
- Нормирование результатов в процентах относительно эталонных значений.
- Формирование рейтингов быстродействия антивирусов для ключевых параметров.
- Награждение лучших антивирусов в соответствии с выбранной системой наград.
Приложение 1: Детали измерений
1. Измерение времени загрузки самой системы (Boot-time)
Время загрузки системы является одним из важных параметров ее работы. Для измерения времени загрузки системы использовалась утилита Windows Boot-Timer, которая позволяет измерять время с момента завершения инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).
Для эталона и для каждого антивируса было произведено 5 попыток измерения времени загрузки системы. Результаты за вычетом граничных усреднялись.
2. Измерение скорости работы антивирусного монитора и сканера по требованию
Проверялось влияние антивирусного монитора (сканера on-access) на копирование файловой коллекции (папки с коллекцией чистых незараженных файлов) на другой логический диск. Кроме этого проверялось время, затраченное на проверку антивирусным сканером (сканером on-demand) этой же файловой коллекции.
Коллекция включала следующие файлы различного типа и размера: системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы. Всего 4000 файлов ста тридцати типов (по расширению), суммарный размер коллекции 2,3 Гб. Более подробные характеристики файлов см. в Приложении 2.
В ходе измерений было сделано следующее
- Копирование тестовой коллекции файлов, измерение времени (всего 5 циклов). Откат системы после каждого прогона.
- Проверка тестовой коллекции файлов сканером по требованию (всего 5 циклов). Откат системы после каждого прогона.
- * Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации проверки, использующихся в антивирусных продуктах (факультативно). Для этого повторное сканирование производится после обычной перезагрузки системы, когда первое сканирование файлов уже произведено.
3. Измерение скорости загрузки файлов по протоколу HTTP и старта типовых офисных приложений
Для измерения влияния антивирусного монитора на работу с ресурсами сети Интернет производились измерения скорости загрузка файла формата ZIP (размер файла 208 376 Кб) на тестовый компьютер по протоколу HTTP с другого (вспомогательного) компьютера в локальной сети. При этом в целях минимизации постороннего трафика от локальной сети отключались любые другие устройства, а также внешний канал выхода в Интернет.
Для измерения влияния антивирусов на работу с офисными приложениями производилось измерение времени старта типовых приложений (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop) при помощи специальной утилиты AppTimer.
Так же, как и в случае других измерений, измерения на эталонной системе и с каждым антивирусом производилось 5 раз, а время загрузки, за исключением граничных значений, усреднялось.
4. Измерение влияния антивирусов на потребление системных ресурсов в состоянии покоя
Для полноты картины проводилось измерение объема потребляемой оперативной памяти в состоянии покоя и при сканировании по требованию тестовой коллекции при помощи утилиты Process Explorer. Кроме этого измерялся уровень использования процессора в состоянии покоя и во время сканирования по требованию.
Приложение 2: Состав файловой колекции
Extension Number of files % Space used % ====================== =============== ======= ============= ======= .DLL 1,867 46.7 464,183,967 20.0 .EXE 469 11.7 130,959,392 5.6 .JPG 417 10.4 377,334,335 16.2 .SYS 199 5.0 20,430,607 0.9 .NLS 127 3.2 10,712,020 0.5 .DOC 106 2.7 11,898,368 0.5 .GIF 53 1.3 203,314 0.0 .POT 46 1.1 3,204,608 0.1 .AX 35 0.9 7,147,039 0.3 .WMF 32 0.8 103,040 0.0 .CPL 26 0.7 4,266,264 0.2 .OCX 24 0.6 6,122,114 0.3 .MIB 20 0.5 491,404 0.0 .INI 18 0.5 1,664,031 0.1 .IME 18 0.5 2,780,215 0.1 .TLB 17 0.4 2,091,676 0.1 .MSC 17 0.4 692,244 0.0 .DRV 17 0.4 1,062,176 0.0 .RAR 16 0.4 180,269,287 7.8 .TXT 16 0.4 330,174 0.0 .MP3 15 0.4 111,100,711 4.8 .XLS 15 0.4 346,624 0.0 .WPL 15 0.4 16,359 0.0 .COM 14 0.4 303,497 0.0 .DAT 14 0.4 10,023,176 0.4 .WAV 14 0.4 1,944,472 0.1 .INF 13 0.3 161,637 0.0 .VBS 12 0.3 695,217 0.0 .ACM 11 0.3 1,342,464 0.1 .XML 11 0.3 835,059 0.0 .H 11 0.3 17,729 0.0 .SCR 11 0.3 2,739,200 0.1 .DOT 11 0.3 1,070,524 0.0 .PNG 10 0.3 9,959,433 0.4 .PDF 10 0.3 11,101,390 0.5 .CHM 10 0.3 4,450,658 0.2 .CAT 9 0.2 2,321,691 0.1 .PIP 8 0.2 12,604 0.0 .UCE 8 0.2 246,198 0.0 .ZIP 8 0.2 29,838,027 1.3 .RTF 8 0.2 1,235,036 0.1 .OLB 8 0.2 1,860,864 0.1 .SDB 7 0.2 6,631,388 0.3 .MANIFEST 7 0.2 4,721 0.0 .HLP 7 0.2 404,055 0.0 .ACG 7 0.2 799,422 0.0 .ACS 7 0.2 13,653,050 0.6 .TSP 7 0.2 686,592 0.0 .BMP 7 0.2 6,834,496 0.3 .AVI 7 0.2 782,868,116 33.7 .WIZ 6 0.2 1,415,591 0.1 .HTM 5 0.1 43,519 0.0 .WMV 5 0.1 2,088,077 0.1 .LEX 5 0.1 7,677,457 0.3 .NVU 5 0.1 22,869 0.0 .PPT 4 0.1 7,411,200 0.3 .FON 4 0.1 62,816 0.0 .TTF 4 0.1 318,780 0.0 .DDT 4 0.1 2,097,248 0.1 .SEP 4 0.1 6,956 0.0 .MDE 3 0.1 15,523,840 0.7 .MUI 3 0.1 1,613,832 0.1 .ROM 3 0.1 55,443 0.0 .JS 3 0.1 16,036 0.0 .SIG 3 0.1 15,369 0.0 .BIN 3 0.1 13,155,262 0.6 .TGZ 3 0.1 28,874 0.0 .LOG 3 0.1 128,034 0.0 .URL 3 0.1 210 0.0 .ICO 3 0.1 15,586 0.0 .DEU 3 0.1 1,524,521 0.1 .ENU 3 0.1 1,023,680 0.0 .ESN 3 0.1 835,253 0.0 .FRA 3 0.1 901,629 0.0 .ITA 3 0.1 952,947 0.0 .NLD 3 0.1 1,174,425 0.1 .SVE 3 0.1 1,017,203 0.0 .MDT 2 0.1 8,798,208 0.4 .NT 2 0.1 4,265 0.0 .RLL 2 0.1 114,688 0.0 .WMZ 2 0.1 251,684 0.0 .CSS 2 0.1 11,356 0.0 .CMD 2 0.1 1,648 0.0 .LXA 2 0.1 1,248,767 0.1 .CNT 2 0.1 5,704 0.0 .COD 1 0.0 64,352 0.0 .WSC 1 0.0 40,505 0.0 .TMP 1 0.0 2,577 0.0 .CTY 1 0.0 129,045 0.0 .VXD 1 0.0 81 0.0 .CPI 1 0.0 127,213 0.0 .HXX 1 0.0 6,708 0.0 .DLS 1 0.0 3,440,660 0.1 .PRO 1 0.0 21,232 0.0 .PPS 1 0.0 1,052,672 0.0 .IEC 1 0.0 369,664 0.0 .NFO 1 0.0 45 0.0 .SQL 1 0.0 956,990 0.0 .OFT 1 0.0 12,288 0.0 .TSK 1 0.0 1,152 0.0 .ASI 1 0.0 125,952 0.0 .DEP 1 0.0 335 0.0 .PPD 1 0.0 6,829 0.0 .IMG 1 0.0 67,866 0.0 .CHS 1 0.0 1,696 0.0 .CHT 1 0.0 1,696 0.0 .ENG 1 0.0 751 0.0 .THA 1 0.0 697 0.0 .RSP 1 0.0 4,310 0.0 .MPG 1 0.0 8,736,768 0.4 .LDL 1 0.0 81,712 0.0 .QTS 1 0.0 4,474,368 0.2 .OPS 1 0.0 2,664 0.0 .RAT 1 0.0 3,167 0.0 .ICM 1 0.0 218,103 0.0 .SDF 1 0.0 888 0.0 .SPD 1 0.0 1,685,606 0.1 .MMF 1 0.0 984 0.0 NONE 1 0.0 862 0.0 .DB 1 0.0 5,120 0.0 .MDA 1 0.0 479,232 0.0 .SCF 1 0.0 75 0.0 .TRM 1 0.0 4,096 0.0 .MSI 1 0.0 1,326,080 0.1 .MOD 1 0.0 2,080 0.0 .ADM 1 0.0 67,374 0.0 .HTA 1 0.0 10,457 0.0 .CNV 1 0.0 53,248 0.0 .XSL 1 0.0 10,217 0.0 .DJVU 1 0.0 1,560,477 0.1 ---------------------- --------------- ------- ------------- ------- TOTAL (130 extensions) 4,000 100.0 2,324,172,556 100.0
| Вложение | Размер |
|---|---|
 file_types.gif | 33.52 КБ |
 services.html | 74.07 КБ |
 list_of_installed_programes.doc | 27.5 КБ |
Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться 