Сравнительное тестирование антивирусов на качество сканирования (часть II)

...

В статье приводится анализ результатов сравнительного теста 50 антивирусов на качество проверки, среди них: BitDefender Anti-Virus, CA E-Trust, ClamWin, Dr. Web, Eset Nod32, FRISK F-Prot Anti-Virus, F-Secure Anti-Virus, Grisoft AVG, H+BEDV AntiVir, Kaspersky Anti-Virus Personal Pro, McAfee VirusScan, Norman Anti-Virus, Norton Anti-Virus, Panda Titanium Anti-Virus, Quick Heal Anti-Virus, Sophos Sweep, Symantec Anti-Virus Corporate, Trend Micro PC-Cillin, UNA Anti-Virus и Virus Chaser.

Главная характеристика любой антивирусной программы, то для чего она покупается, - качество защиты компьютера от вредоносного кода. Все остальные параметры по определению отходят на второй план, с этим, я уверен, никто спорить не будет. Необходимо, чтобы данные были надежно защищены антивирусом от любого известного вируса, червя, трояна и т.д.

Все антивирусы обеспечивают защиту по-разному, кто-то справляется с вирусами лучше, кто-то – хуже. Чтобы понять, какой антивирус лучше обнаруживает вредоносный код, обратимся к результатам последнего теста, проведенного Энтони Петракисем (Antony Petrakis, www.virus.gr) в конце декабря 2005 года.

Суть теста: в каждом тестируемом антивирусе запускалась задача сканирования по требованию каталога с огромным количеством вирусных экземпляров (detection rate test).

Тест проводится на машине Intel Pentium 4 2800Mhz, 512MB DDRAM с установленной Microsoft Windows XP Professional SP1.

Тестовая база вирусов насчитывала 113334 вируса (коллекция VS2000, сформированная совместно антивирусными компаниями Kaspersky, F-Prot, Nod32, Dr.Web и McAfee), что на 20 тыс. больше, чем в предыдущем тесте. Вирусы в коллекции не повторяются и не имеют уникальные имена согласно антивирусной программе AT LEAST 1.

Все вирусные экземпляры были распакованы (не было файлов zip, rar, ace и т.д.) и имеют корректные расширения файлов согласно специальной программе Renexts и были уникальны контрольной сумме (checksum32).

Файлы вирусных экземпляров для тестирования были следующих типов:
EXE, ELF, SH, COM, VBS, SIT, BAT, DOC, XLS, MDB, BIN, VBA, OLE, PPT, CLS, SMM, HTM, CLASS, JS, VI_, HTA, INI, PL, HLP, PHP, TPU, SCR, IMG, TD0, PRC, PIF, XML, REG, SHS, MAC, CSC, INF.

Вирусные экземпляры из коллекции были распределены по следующим категориям:

File = BeOS, FreeBSD, Linux, Palm, OS2, Unix, BinaryImage, BAS viruses, MenuetOS viruses.
MS-DOS = MS-DOS and HLL*. viruses
Windows = Win.*.* viruses
Macro = Macro and Formula viruses
Malware = Adware, DoS, Constructors, Exploit, Flooders, Nukers, Sniffers, Spoofers, Virus Construction Tools, Virus Tools, Droppers, PolyEngines
Script = BAT, Corel, HTML, Java, Scripts, VBS, WBS, Worms, PHP, Perl viruses
Trojans = Trojan and Backdoor viruses

Все тестируемые программы на момент тестирования имели актуальные версии с обновленными базами данных и максимальными настройками сканирования (включенная эвристика, полное сканирование и т.д.). Настройки по умолчания не использовались, по причине того, что они не обеспечивают максимально возможное качество обнаружения вирусов.

Однако стоит оговориться, что активация максимального уровня защиты могла привести к некоторым "ложным срабатываниям", благодаря чему результаты работы некоторых антивирусов потенциально могут быть искажены в лучшую сторону.

Всего тестировалось 50 различных антивирусов, большая часть из которых мало известна широкой аудитории, поэтому в данной статье результаты по ним будут опущены.

Результаты сравнительного тестирования

Отобранные 25 антивирусов показали следующие результаты по обнаружению вредоносных программ:

Kaspersky Personal Pro version 5.0.390
Kaspersky 2006 beta version 6.0.15.222- 99.46%
F-Secure Anti-Virus 2006 version 6.10.330 - 96.92%
CyberScrub AntiVirus version 1.0 - 96.62%
eScan Virus Control version 2.6.522.9 - 95.21%
McAfee VirusScan version 10.0.27 - 94.80%
BitDefender Anti-Virus version 9 - 90.75%
Eset Nod32 version 2.50.41 - 88.79%
H+BEDV AntiVir Personal version 6.32.00.51 - 86.55%
Norton Anti-Virus version 2006 - 85.17%
FRISK F-Prot Anti-Virus version 3.16d - 84.96%
Dr. Web version 4.33 - 84.68%
Panda Titanium Anti-Virus 2006 version 5.01.00 - 82.02%
Virus Chaser version 5.0a - 79.37%
Grisoft AVG version 7.1.371 - 77.97%
Trend Micro PC-Cillin 2006 version 14.00.1341 - 77.84%
Alwil avast! version 4.6.744 - 76.93%
UNA Anti-Virus version 1.83 - 69.83%
Norman Anti-Virus version 5.83.07 - 69.13%
Sophos Sweep version 3.99 - 67.76%
VBA32 version 3.10.5 - 63.36% New!
ClamWin version 0.87.1 - 48.45%
Computer Associates E-Trust Antivirus version 7.0.6.7 - 47.84%
ZoneAlarm (VET Antivirus) version 6.1.737.000 - 47.70%
AhnLab V3Pro 2004 - 44.16%
Quick Heal Anti-Virus version 8.00 - 33.76%

- изменение процента детектированных вирусов в сравнении с предыдущим тестом.

В следующей таблице представлены подробные результаты тестирования с разбивкой по категориям в вирусной коллекции. Для каждой категории вирусов в заголовке таблицы в скобках указано количество экзепляров, в ячейках - количество детектированных вирусов и их процент от общего количества.

Результаты тестирования с разбивкой по категориям

Антивирус	File (345)	MS-DOS (33478)	Windows (2997)	Macro (6817)	Malware (6928)	Script (9627)	Trojans (53142)	Всего (113334)
Kaspersky Personal Pro	317 91.88%	33202 99.18%	2906 96.96%	6792 99.63%	6875 99.23%	9581 99.52%	53048 99.82%	112721 99.46%
F-Secure Anti-Virus	320 92.75%	33168 99.07%	2886 96.30%	6805 99.82%	4343 62.69%	9576 99.47%	52749 99.26%	109847 96.92%
CyberScrub AntiVirus	291 84.35%	32841 98.10%	2950 98.43%	6678 97.96%	4458 64.35%	9414 97.79%	52872 99.49%	109504 96.62%
eScan Virus Control	316 91.59%	31361 93.68%	2841 94.79%	6782 99.49%	4373 63.12%	9405 97.69%	52823 99.40%	107901 95.21%
McAfee VirusScan 321	93.04%	33213 99.21%	2926 97.63%	6787 99.56%	5801 83.73%	9485 98.52%	48906 92.03%	107439 94.80%
BitDefender Anti-Virus	244 70.72%	31313 93.53%	2538 84.68%	6560 96.23%	4411 63.67%	9477 98.44%	48304 90.90%	102847 90.75%
Eset Nod32	222 64.35%	30640 91.52%	2771 92.46%	6681 98.00%	4463 64.42%	9158 95.13%	46692 87.86%	100627 88.79%
H+BEDV AntiVir Personal	223 64.64%	29885 89.27%	2207 73.64%	6638 97.37%	3889 56.13%	8568 89.00%	46682 87.84%	98092 86.55%
Norton Anti-Virus	281 81.45%	32291 96.45%	2902 96.83%	6772 99.34%	3920 56.58%	9428 97.93%	40930 77.02%	96524 85.17%
FRISK F-Prot Anti-Virus	188 54.49%	32783 97.92%	2533 84.52%	6760 99.16%	2687 38.78%	8789 91.30%	42551 80.07%	96291 84.96%
Dr. Web	199 57.68%	29340 87.64%	2439 81.38%	6734 98.78%	4152 59.93%	8970 93.18%	44141 83.06%	95975 84.68%
Panda Titanium Anti-Virus	257 74.49%	30767 91.90%	2218 74.01%	6672 97.87%	4249 61.33%	8289 86.10%	40502 76.21%	92954 82.02%
Virus Chaser	200 57.97%	27531 82.24%	2163 72.17%	6496 95.29%	4054 58.52%	8045 83.57%	41469 78.03%	89958 79.37%
Grisoft AVG	62 17.97%	27222 81.31%	2294 76.54%	6581 96.54%	1724 24.88%	7634 79.30%	42844 80.62%	88361 77.97%
Trend Micro PC-Cillin	184 53.33%	30946 92.44%	2318 77.34%	6660 97.70%	2846 41.08%	8205 85.23%	37055 69.73%	88214 77.84%
Alwil avast!	170 49.28%	30450 90.96%	2536 84.62%	6414 94.09%	3317 47.88%	7590 78.84%	36716 69.09%	87193 76.93%
UNA Anti-Virus	126 36.52%	27587 82.40%	2614 87.22%	5222 76.60%	4290 61.92%	7169 74.47%	32133 60.47%	79141 69.83%
Norman Anti-Virus	91 26.38%	27032 80.75%	1951 65.10%	6404 93.94%	1633 23.57%	6447 66.97%	34786 65.46%	78344 69.13%
Sophos Sweep	222 64.35%	29058 86.80%	2316 77.28%	6516 95.58%	1977 28.54%	7188 74.67%	29521 55.55%	76798 67.76%
VBA32	137 39.71%	18122 54.13%	1730 57.72%	5618 82.41%	4480 64.67%	6469 67.20%	35253 66.34%	71809 63.36%
ClamWin	142 41.16%	25608 76.49%	1474 49.18%	1314 19.28%	2141 30.90%	5389 55.98%	18844 35.46%	54912 48.45%
CA E-Trust Antivirus	133 38.55%	23130 69.09%	2096 69.94%	6581 96.54%	720 10.39%	5626 58.44%	15936 29.99%	54222 47.84%
ZoneAlarm (VET Antivirus)	133 38.55%	23129 69.09%	2096 69.94%	6581 96.54%	703 10.15%	5564 57.80%	15857 29.84%	54063 47.70%
AhnLab V3Pro	51 14.78%	16080 48.03%	904 30.16%	6511 95.51%	1013 14.62%	4789 49.75%	20704 38.96%	50052 44.16%
Quick Heal Anti-Virus	60 17.39%	15375 45.93%	255 8.51%	5966 87.52%	1111 16.04%	3677 38.19%	11821 22.24%	38265 33.76%

- таблица составлена по результатам теста, проведенного Энтони Петракисем (Antony Petrakis, www.virus.gr).

Выводы

Первое место в данном сравнительном тестировании, как и ранее, занял Антивирус Касперского, итоговые 99.46% обнаруженных вирусов заслуживают наивысшей оценки. Кроме того, F-Secure Anti-Virus , eScan Virus Control и CyberScrub AntiVirus (второе, третье и четвертое место соответственно) также используют антивирусный движок от Лаборатории Касперского по OEM соглашению. Небольшие различия в показателях детектирования не должны смущать, так как они являются следствием определенных настроек движка. CyberScrub AntiVirus является новым антивирусом на рынке, поэтому в предыдущих тестах он не участвовал.

Следом за "четверкой от Лаборатории Касперского" расположился антивирус McAfee, чей результат детектирования чуть хуже – 94.80%, но лучше чем 89.75% в предыдущем тесте.

Замыкает лидирующую тройку по качеству детектирования среди производителей BitDefender, который также улучшил свой результат с 88.13% до 90.75%, немного провалившись на категории Windows и Malware. Его отставание от McAfee составило менее 2%.

Далее чуть позади, довольно плотной группой (88-84%), расположились Eset Nod32, H+BEDV AntiVir Personal, Norton Anti-Virus, FRISK F-Prot Anti-Virus (провалился на категории Malware) и Dr. Web, причем Nod32, AntiVir и Dr. Web значительно улучшили свои позиции.

Сильно сдал свои позиции Panda Titanium Anti-Virus - 82.02% вместо 87.75% в предыдущем тесте и Norton Anti-Virus, ранее занимавший 2-е место среди производителей по качеству детектирования.

Антивирус Virus Chaser, использующий движек Dr. Web показал результат хуже, чем прошлый раз – всего 79.37%. Также немного quot;просел" Trend Micro PC-Cillin 2005, замыкающий 15 лучших антивирусов по детекшену.

Украинский Национальный Антивирус UNA Anti-Virus показал результат 69.83%, что заметно хуже, чем в предыдущем тесте, но все же лучше, чем у Sophos или Norman.

Нижнюю часть таблицы, пожалуй, нет смысла комментировать подробно. Стоит только акцентировать внимание на небольшом улучшении ClamWin и еще более слабых результатах движка от Computer Associates: CA E-Trust и ZoneAlarm (движок CA VET Antivirus). Для последнего это особенно неприятно, ведь этот продукт очень популярен благодаря мощному firewall, и компании Check Point было не плохо дополнить его качественным антивирусом, но пока - лишь 47% обнаруженных вирусов из тестовой коллекции.

Стоит отметить, что некоторые испытуемые антивирусы не детектировали и 20% коллекции, т.е., по сути, являются абсолютно бесполезными для антивирусной защиты компьютера.

Мы будем рады прочитать Ваши комментарии и ответить на все Ваши вопросы по данному сравнению в нашем форуме.

Полезные ссылки:

Сравнительное тестирование антивирусов на качество сканирования (часть I)