Методология теста проактивной антивирусной защиты (июнь 2010)

Тест проводился на специально подготовленном стенде под управлением VMware Workstation 6.5. Для каждого антивирусного продукта клонировалась «чистая» виртуальная машина с операционной системой Microsoft Windows XP SP3.

В тестировании участвовали следующие антивирусные программы класса Internet Security:

1. Avast Internet Security 5.0
2. AVG Internet Security 9.0
3. Avira AntiVir Premium Security Suite 9.0
4. BitDefender Internet Security 2010
5. Comodo Internet Security 4.0
6. Dr.Web Security Space 6.0
7. Eset Smart Security 4.0
8. F-Secure Internet Security 2010
9. G DATA Internet Security 2010
10. Kaspersky Internet Security 2010
11. Microsoft Security Essentials 1.0
12. Norton Internet Security 2010
13. Outpost Security Suite Pro 2009 (6.7.3)
14. Panda Internet Security 2010
15. PC Tools Internet Security 2010
16. Sophos Anti-Virus 9.0
17. Trend Micro Internet Security 2010
18. VBA32 Personal 3.12
19. ZoneAlarm Security Suite 2010

К сожалению, из первоначального списка тестируемых продуктов пришлось исключить CA Internet Security Suite Plus 2010 из-за недостаточной поддержки со стороны вендора. McAfee Internet Security Suite 2010 был исключен из теста по причине отсутствия возможности продления триальной версии для некоммерческого использования (продукт нужно переустанавливать, подгрузить новую лицензию нельзя).

При установке антивирусов производились все рекомендуемые программой действия (перезагрузка системы, обновление и т.д.). Все компоненты защиты активировались, если это не было предусмотрено после установки автоматически.

После подготовки тестового стенда создавались специальные условия для проверки эффективности работы эвристика. Для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста (15.03.2010).

Через две недели после заморозки антивирусных баз (начиная с 01.04.2010) в "дикой природе" (In The Wild, далее ITW: поступления в частные коллекции) начался отбор ITW-образцов вредоносных программ, который проходил ровно месяц. Новизна образцов определялась по отсутствию совпадений хешей по общей коллекции Anti-Malware.ru. Таким образом, обеспечивался отбор вредоносных программ, с высокой степенью вероятности еще неизвестных антивирусам на момент прекращения обновлений (заморозки антивирусных баз). В итоге за вычетом неработающих образцов была собрана коллекция из 2617 уникальных самплов вредоносных программ.

Важно! Разрыв в две недели между заморозкой антивирусных баз и началом сбора вредоносных программ был сделан намеренно, чтобы минимизировать возможность попадания в коллекцию образцов, известных какому-либо антивирусу.

В результате всех мероприятий моделировалась ситуация, при которой эффективность классических сигнатурных компонент защиты сводилась к нулю. В результате любое детектирование неизвестного по определению образца при простом сканировании по требованию могло осуществляться только проактивной эвристической компонентой, чего мы и хотели.

Сканирование по требованию производилось с максимально возможными настройками: включение эвристики (максимальный уровень), проверка всех файлов, обнаружение всех типов вредоносных и потенциально опасных программ.

Как и в прошлом тесте была сделана проверка антивирусов на ложные срабатывания. Для этого одновременно с накоплением коллекции вредоносных программ составлялась и коллекция чистых файлов. Для этого с крупнейших сайтов (download.com и softpedia.com) скачивались дистрибутивы выложенных там программ. Полученные дистрибутивы распаковывались и из них отбирались только файлы exe и dll (уникальные по md5), остальные удалялись. В итоге была составлена коллекция из 19980 чистых файлов.

Для определения уровня ложных срабатываний производилось сканирование по требованию полученной коллекции чистых файлов всеми тестируемыми антивирусами с точно такими же антивирусными базами и настройками, которые ранее были использованы для сканирования коллекции вредоносных программ.

Важно! Факты обнаружения в коллекции чистых файлов каких-либо "нежелательных программ" (spyware, adware, remote admin tools и т.е.) не учитывались как ложные срабатывания, так как степень опасности таких программ, как правило, вызывает много вопросов и определяется каждым вендором индивидуально - что опасно с точки зрения одного, то безопасно для другого.

В качестве приложения к тесту после его окончания проводилось обновление всех антивирусных программ, и делалась повторная проверка коллекции (через неделю после окончания основного тестирования). В результате фиксировалась скорость реакции вирусных лабораторий вендоров и эффективность работы классических сигнатурных методов обнаружения у каждого антивируса в дополнение к эвристике.

Шаги создания тестовой среды:

1. Установка антивирусной программы на чистую машину;
2. Перезагрузка системы;
3. Проверка успешной установки и работоспособности всех модулей программы;
4. Обновление антивирусной программы;
5. Перезагрузка системы;
6. Выключение функций обновления, отключения от сети Интернет (заморозка антивирусных баз);
7. Сохранение образа виртуальной машины;
8. Отключение виртуальной машины на 6 недель;
9. Сбор тестовой коллекции вредоносных программ и чистых файлов (начало через 2 недели после п. 8).

Шаги проведения тестирования:

1. Включение виртуальной машины через 4 недели после заморозки антивирусных баз;
2. Проверка коллекции отобранных новых вредоносных программ сканером по требованию (настройки на автоматическое удаление обнаруженных объектов);
3. Подсчет оставшихся образцов вредоносных программ после проверки коллекции;
4. Проверка коллекции чистых файлов сканером по требованию (фиксирование ложных срабатываний);
5. Обновление антивируса;
6. Повторная проверка оставшихся в пункте 3 образцов.
7. Подсчет оставшихся образцов после повторной проверки коллекции. 

Для каждой антивирусной программы выделялась отдельная чистая виртуальная машина – шаг 1. Для каждого антивируса создавалась своя копия коллекции вредоносных программ – шаг 9.