Последнее время в индустрии большое внимание уделяется так называемым проактивным методам антивирусной защиты, которые позволяют антивирусу противостоять еще неизвестным видам и модификациям вредоносных программ. Данное направление развития является наиболее перспективным на рынке, и почти каждый производитель пытается подчеркнуть, что именно его проактивная защита лучшая.
Более того, делаются попытки в каком-то смысле даже противопоставить новейшие проактивные технологии прежним реактивным (классическим), которые основываются на сигнатурных методах обнаружения вредоносных программ и требуют постоянного и оперативного обновления антивирусных баз данных.
Сама концепция проактивной защиты, безусловно, выглядит очень привлекательно: вирус еще не появился, а защита от него уже есть. Но возникает вопрос, насколько эти технологии эффективны?
Сразу оговоримся, что проактивные технологии – довольно обширное понятие, включающее в себя множество направлений и составляющих, охватить их все в рамках одного теста не представляется возможным. В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры), не принимая во внимание анализ системных событий (поведенческие блокираторы, HIPS).
Результаты этого теста дают возможность ответить на вопросы: "Насколько эффективна эвристика? В каком антивирусе этот компонент защиты работает лучше?"
В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста. В результате фиксировалось качество обнаружения новых вирусов, а также эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике.
Методология проведения теста »
Анализ результатов теста и награды »
Основные результаты тестирования
Измерение эффективности проактивной антивирусной защиты
В тестировании эффективности проактивной антивирусной защиты принимали участие 15 наиболее популярных антивирусных программ, среди которых:
- Agnitum Outpost Security Suite 2008
- Avast! Professional Edition 4.7
- AVG Anti-Virus Professional Edition 7.5
- Avira AntiVir Personal Edition Premium 7.0
- BitDefender Antivirus 2008
- Dr.Web 4.44
- Eset Nod32 Anti-Virus 3.0
- F-Secure Anti-Virus 2008
- Kaspersky Anti-Virus 7.0
- McAfee VirusScan Plus 2008
- Panda Antivirus 2008
- Sophos Anti-Virus 7.0
- Symantec Anti-Virus 2008
- Trend Micro Antivirus plus Antispyware 2008
- VBA32 Antivirus 3.12
Тест антивирусов проводился под операционной системой Windows XP SP2 в период с 21 октября по 8 декабря 2007 года четко в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).
На рисунке 1 и в таблице 1 представлены результаты обнаружения неизвестных вредоносных программ различными антивирусами.
Рисунок 1: Результаты теста эффективности эвристиков
Таблица 1: Результаты теста эффективности эвристиков
|
Антивирус
|
Кол-во необнаруженных вирусов
|
Процент обнаруженных вирусов
|
| Avira | 1210 | 71% |
| BitDefender | 1560 | 63% |
| Eset | 1739 | 59% |
| DrWeb | 1793 | 57% |
| Sophos | 1855 | 56% |
| Avast | 2029 | 52% |
| VBA | 2175 | 48% |
| Kaspersky | 2289 | 45% |
| McAfee | 2381 | 43% |
| Symantec | 2583 | 38% |
| AVG | 2637 | 37% |
| F-Secure | 2685 | 36% |
| Trend Micro | 2927 | 30% |
| Panda Security | 3165 | 24% |
| Agnitum (VirusBuster) | 3679 | 12% |
| Всего образцов в коллекции: | 4191 |
Также очень эффективной оказалась эвристика в BitDefender Antivirus, который обнаружил 65% неизвестных вредоносных программ. Оба продукта, согласно используемой схеме награждения, получили награду Gold Proactive Protection Award.
Высокую эффективность эвристического компонента защиты показали Eset Nod32 Anti-Virus, Dr.Web, Sophos Anti-Virus, Avast! Professional Edition, VBA32 Antivirus, Kaspersky Anti-Virus, McAfee VirusScan Plus, уровень обнаружения которых составил от 59% до 43% соответственно. Все эти продукты получили высокую награду Silver Proactive Protection Award. Первым двум антивирусам из этой группы не хватило всего лишь 1-3%, чтобы войти в группу победителей и получить награду Gold Proactive Protection Award.
Еще 5 продуктов: Symantec Anti-Virus, AVG Anti-Virus Professional Edition, F-Secure Anti-Virus, Trend Micro Antivirus plus Antispyware, Panda Antivirus, показали удовлетворительный результат и получили награду Bronze Proactive Protection Award.
Единственным провалившим тест оказался Agnitum Outpost Security Suite, в котором эвристик, по сути, отсутствует. Его результат составил лишь 12%.
Итоговые результаты тестирования и награды
 Gold Proactive Protection Award Скачать изображение GIF (500х500px) |
Avira AntiVir Personal Edition Premium 7.0 (71%) BitDefender Antivirus 2008 (65%) |
 Silver Proactive Protection Award Скачать изображение GIF (500х500px) |
Eset Nod32 Anti-Virus 3.0 (59%) Dr.Web 4.44 (57%) Sophos Anti-Virus 7.0 (56%) Avast! Professional Edition 4.7 (52%) VBA32 Antivirus 3.12 (48%) Kaspersky Anti-Virus 7.0 (45%) McAfee VirusScan Plus 2008 (43%) |
 Bronze Proactive Protection Award Скачать изображение GIF (500х500px) |
Symantec Anti-Virus 2008 (38%) AVG Anti-Virus Professional Edition 7.5 (37%) F-Secure Anti-Virus 2008 (36%) Trend Micro Antivirus plus Antispyware 2008 (30%) Panda Antivirus 2008 (20%) |
| Тест провален | Agnitum Outpost Security Suite 2008 (12%) |
Изменение эффективности проактивной антивирусной защиты во времени
Так как в соответствии с методологией в тесте использовалась месячная коллекция новых вредоносных программ (собранная с 5 ноября по 2 декабря), стало возможным проверить, как изменяется эффективность работы различных эвристиков во времени. Для этого коллекция была разбита по времени поступления образцов на 4 равные части, по неделе на каждую.
Таким образом, на рисунке 2 и в таблице 2 представлены данные по эффективности работы эвристиков на недельных коллекциях.
Рисунок 2: Результаты теста эффективности эвристиков (разбивка по неделям)
Таблица 2: Результаты теста эффективности эвристиков (разбивка по неделям)
|
Антивирус
|
Процент обнаруженных вирусов
|
|||
|
Неделя 1
|
Неделя 2
|
Неделя 3
|
Неделя 4
|
|
| Avira | 72% | 72% | 65% | 74% |
| BitDefender | 66% | 63% | 56% | 65% |
| Eset | 72% | 58% | 47% | 56% |
| DrWeb | 58% | 53% | 53% | 63% |
| Sophos | 64% | 60% | 44% | 55% |
| Avast | 54% | 51% | 40% | 59% |
| VBA | 57% | 45% | 48% | 43% |
| Kaspersky | 49% | 40% | 42% | 49% |
| McAfee | 45% | 42% | 33% | 50% |
| Symantec | 42% | 36% | 30% | 44% |
| AVG | 47% | 32% | 35% | 34% |
| F-Secure | 38% | 29% | 32% | 43% |
| Trend Micro | 41% | 23% | 21% | 33% |
| Panda Security | 39% | 23% | 20% | 16% |
| Agnitum (VirusBuster) | 17% | 9% | 11% | 12% |
| Всего образцов в коллекции: | 4191 | |||
Как видно из таблицы 2, эвристический компонент Avira AntiVir Personal Edition Premium, BitDefender Antivirus, Dr.Web и Kaspersky Anti-Virus демонстрирует наиболее стабильную эффективность, в то время как в Eset Nod32 Anti-Virus, Panda Antivirus и AVG Anti-Virus Professional Edition она сильно падает во времени при отсутствии обновлений. С этой точки зрения можно особенно выделить Eset Nod32 Anti-Virus, чья эвристика сильно потеряла эффективность в течение тестируемого периода.
Сигнатуры или эвристика?
В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста (8 декабря 2007). В результате фиксировалась эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике. Это позволило увидеть, какую роль в обеспечении общего уровня детектирования антивирусов играет той или иной компонент
(см. рисунок 3).
Рисунок 3: Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ
Диагональная линия на рисунке 3 означает уровень 100% детектирования новых вредоносных программ. Приблизиться к нему можно при помощи эффективной работы различных компонент антивирусных защиты или их сбалансированной работы.
Продукты, попавшие в темно-оранжевую (80-100%) и светло-оранжевую (60-80%) зоны, показали отличный и хороший уровень обнаружения новых вирусов (возрастом от 1 до 5 недель, см. методологию).
Большинство из них: Avira AntiVir Personal Edition Premium, Dr.Web, BitDefender Antivirus, Eset Nod32 Anti-Virus, Sophos Anti-Virus - сделали это в основном за счет вклада проактивного компонента.
Kaspersky Anti-Virus и F-Secure Anti-Virus добились того же в основном за счет сигнатурного компонента.
Самыми сбалансированными в этом отношении оказались AVG Anti-Virus Professional Edition и VBA32 Antivirus, Symantec Anti-Virus и McAfee VirusScan Plus, в которых оба компонента отработали одинаково эффективно (попали в левый нижний квадрат на рисунке 3, а общий уровень обнаружения вредоносных программ оказался хорошим или отличным).
Посредственным по общему обнаружению новых вредоносных программ оказался Panda Antivirus, а Trend Micro Antivirus plus Antispyware и Agnitum Outpost Security Suite оказались совершенно неэффективными против новых угроз.
Таблица 3: Качество обнаружения новых вирусов
|
Антивирус
|
% обнаруженных вирусов без обновления
(4 недели) |
% обнаруженных вирусов после обновления
|
Суммарный % обнаруженных вирусов
|
| Avira | 71.1% | 21.5% | 92.7% |
| BitDefender | 62.8% | 23.1% | 85.9% |
| Eset | 58.5% | 18.1% | 76.6% |
| DrWeb | 57.2% | 23.8% | 81% |
| Sophos | 55.7% | 12.6% | 68.3% |
| Avast | 51.6% | 24.6% | 76.2% |
| VBA | 48.1% | 31% | 79.1% |
| Kaspersky | 45.4% | 52.2% | 97.6% |
| McAfee | 43.2% | 20% | 63.2% |
| Symantec | 38.4% | 26.2% | 64.6% |
| AVG | 37.1% | 49.2% | 86.3% |
| F-Secure | 35.9% | 62.2% | 98.2% |
| Trend Micro | 30.2% | 0.3% | 30.4% |
| Panda Security | 24.5% | 33.6% | 58.1% |
| Agnitum (VirusBuster) | 12.2% | 1.3% | 13.5% |
Рисунок 4: Качество обнаружения новых вирусов, вклад различных компонет
Автор:
Сергей Ильин
Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться