Методология теста проактивной антивирусной защиты (март 2009)

Тест проводился на специально подготовленном стенде под управлением VMware GSX Server. Для каждого антивирусного продукта клонировалась «чистая» виртуальная машина с операционной системой Microsoft Windows XP SP3.

В тестировании участвовали следующие антивирусные программы*:

1. Agnitum Outpost Antivirus Pro 2009
2. Avast! Professional Edition 4.8
3. AVG Anti-Virus 8.0
4. Avira AntiVir Premium 8.2
5. BitDefender Antivirus 2009
6. Dr.Web 5.0
7. Eset Nod32 Anti-Virus 3.0
8. F-Secure Anti-Virus 2009
9. Kaspersky Anti-Virus 2009
10. Panda Antivirus 2009
11. Sophos Anti-Virus 7.6
12. Norton Anti-Virus 2009
13. Trend Micro Internet Security 2009
14. VBA32 Personal 3.12

* Тестирование McAfee VirusScan Plus 2009 не завершено из-за технического сбоя.

При установке антивирусов производились все рекомендуемые программой действия (перезагрузка системы, обновление и т.д.). Все компоненты защиты активировались, если это не было предусмотрено после установки автоматически.

После подготовки тестового стенда создавались специальные условия для проверки эффективности работы эвристика. Для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста (03.12.2008).

Через две недели после заморозки антивирусных баз (начиная с 18.12.2008) в "дикой природе" (In The Wild, далее ITW: корпоративные шлюзы, поступления в частные коллекции) начался отбор ITW-образцов вредоносных программ, который проходил ровно месяц. Новизна образцов определялась по отсутствию совпадений хешей по общей коллекции Anti-Malware.ru. Таким образом, обеспечивался отбор вредоносных программ, с высокой степенью вероятности еще неизвестных антивирусам на момент прекращения обновлений (заморозки антивирусных баз). В итоге была собрана коллекция из 5166 уникальных самплов вредоносных программ.

Важно! Разрыв в две недели между заморозкой антивирусных баз и началом сбора вредоносных программ был сделан намеренно, чтобы минимизировать возможность попадания в коллекцию образцов, известных какому-либо антивирусу.

В результате всех мероприятий моделировалась ситуация, при которой эффективность классических сигнатурных компонент защиты сводилась к нулю. В результате любое детектирование неизвестного по определению образца при простом сканировании по требованию могло осуществляться только проактивной эвристической компонентой, чего мы и хотели.

Сканирование по требованию производилось с максимально возможными настройками: включение эвристики (максимальный уровень), проверка всех файлов, обнаружение всех типов вредоносных и потенциально опасных программ.

В отличие от прошлого теста по многочисленным просьбам была сделана проверка антивирусов на ложные срабатывания. Для этого одновременно с накоплением коллекции вредоносных программ составлялась и коллекция чистых файлов. Для этого с сайта download.com скачивались дистрибутивы выложенных там программ. Полученные дистрибутивы распаковывались и из них отбирались только файлы exe и dll (уникальные по md5), остальные удалялись. В итоге была составлена коллекция из 15121 чистого файла.

Для определения уровня ложных срабатываний производилось сканирование по требованию полученной коллекции чистых файлов всеми тестируемыми антивирусами с точно такими же антивирусными базами и настройками, которые ранее были использованы для сканирования коллекции вредоносных программ.

Важно! Факты обнаружения в коллекции чистых файлов каких-либо "нежелательных программ" (spyware, adware, remote admin tools и т.е.) не учитывались как ложные срабатывания, так как степень опасности таких программ, как правило, вызывает много вопросов и определяется каждым вендором индивидуально - что опасно с точки зрения одного, то безопасно для другого.

В качестве приложения к тесту после его окончания проводилось обновление всех антивирусных программ, и делалась повторная проверка коллекции (через неделю после окончания основного тестирования). В результате фиксировалась скорость реакции вирусных лабораторий вендоров и эффективность работы классических сигнатурных методов обнаружения у каждого антивируса в дополнение к эвристике.

Шаги создания тестовой среды:

1. Установка антивирусной программы на чистую машину;
2. Перезагрузка системы;
3. Проверка успешной установки и работоспособности всех модулей программы;
4. Обновление антивирусной программы;
5. Перезагрузка системы;
6. Выключение функций обновления, отключения от сети Интернет (заморозка антивирусных баз);
7. Сохранение образа виртуальной машины;
8. Отключение виртуальной машины на 6 недель;
9. Сбор тестовой коллекции вредоносных программ и чистых файлов (начало через 2 недели после п. 8).

Шаги проведения тестирования:

1. Включение виртуальной машины через 4 недели после заморозки антивирусных баз;
2. Проверка коллекции отобранных новых вредоносных программ сканером по требованию (настройки на автоматическое удаление обнаруженных объектов);
3. Подсчет оставшихся образцов вредоносных программ после проверки коллекции;
4. Проверка коллекции чистых файлов сканером по требованию (фиксирование ложных срабатываний);
5. Обновление антивируса;
6. Повторная проверка оставшихся в пункте 3 образцов.
7. Подсчет оставшихся образцов после повторной проверки коллекции. 

Для каждой антивирусной программы выделялась отдельная чистая виртуальная машина – шаг 1. Для каждого антивируса создавалась своя копия коллекции вредоносных программ – шаг 9.