Методология теста антивирусов на защиту от новейших (Zero-day) вредоносных программ (ноябрь 2009)

Тест проводился в период с 7 июля по 22 октября 2009 года. Перед началом теста производилась подготовка среды тестирования. Для этого под управлением VMware Workstation 6.0 был создан набор чистых виртуальных машин, на которые была установлена операционная система Microsoft Windows XP Pro SP3 (последние обновления намеренно не ставились). На каждую машину по отдельности была установлена своя программа защиты из числа приведенных ниже.

По возможности мы брали в тест продукты для интегрированной защиты класса Internet Security, но если таковых в линейке вендора не было, то  использовали младшие в линейке продукты. В итоге в сравнении участвовали:

1. Avast Antivirus Professional 4.8-1335
2. AVG Internet Security 8.5.386
3. Avira Premium Security Suite 9.0.0.377
4. BitDefender Internet Security 2009 (12.0.12)
5. Comodo Internet Security 3.9.95478.509
6. Dr.Web Security Space 5.0.1.06018
7. Eset Smart Security 4.0.437
8. F-Secure Internet Security 2009 (9.00 build 149, он же СТРИМ.Антивирус)
9. G DATA Internet Security 2010 (20.0.2)
10. Kaspersky Internet Security 2010 (9.0.0.459)
11. McAfee Internet Security Suite 13.11
12. Microsoft Security Essentials 1.0.2140.0
13. Norton Internet Security 2009 (16.5.0.135)
14. Outpost Security Suite 2009 (6.5.5.2535.385.0692)
15. Panda Internet Security 2010 (15.00.00)
16. Sophos Anti-Virus 7.6.9
17. Trend Micro Internet Security 2009 (17.1.1250/8.913.1006)
18. VBA32 Workstation 3.12.10.10

Также в тесте участвовали две специальные программы для проактивной защиты от новейших видов угроз класса HIPS (Hosted Intrusion Prevention System):

1. DefenceWall HIPS 2.56
2. Safe'n'Sec Personal 3.5.0.490

К сожалению, в ходе длительного проведения теста полученных результатов, некоторые вендоры выпустили обновления своих продуктов, что не могло быть отражено в итоговых результатах.

Важно отметить, что все антивирусы тестировались со стандартными настройками по умолчанию и со всеми актуальными обновления, полученными в автоматическом режиме. По своей сути моделировалась ситуация, как если бы простой пользователь с установленной у себя одной из тестируемых программ защиты пользовался Интернет и переходил по интересующим его ссылкам (полученным тем или иным образом, см. выше).

Отбор вредоносных программ

Для теста выбирались ссылки на сайты, зараженные только новейшими образцами вредоносных программ. Что означает «новейшие»? Это означает, что эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal (всего на этом сервисе подключено 41 различный антивирусный движок). Если отобранные самплы и детектировались кем-то, то вердикты как правило были неточными (подозрение на заражение или упакованный объект).

Количество образов, удовлетворяющих таким требованиям, было очень небольшим, что существенно отразилось на размере итоговой выборки и сроках тестирования. Всего более за несколько месяцев тестирования было отобрано 36 рабочих ссылок на новейшие вредоносные программы, которые и использовались в тесте.