Проактивные методы антивирусной защиты по-прежнему продолжают играть важную роль в защите от новых видов и модификаций вредоносных программ. Несмотря на активное развитие за последние годы «облачных» технологий, никто не списывает со счетов привычные технологии проактивной защиты, основанные на анализе файлов непосредственно на компьютере пользователя. Для многих антивирусных продуктов на рынке они, по сути, продолжают оставаться единственными составляющими проактивности защиты.
Сразу оговоримся, что проактивные технологии – довольно обширное понятие, включающее в себя множество направлений и составляющих, охватить их все в рамках одного теста не представляется возможным. В этом тесте мы по традиции будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры), не принимая во внимание анализ системных событий (поведенческие блокираторы, HIPS).
Результаты этого теста дают возможность ответить на вопросы: "Насколько эффективна эвристика? В каком антивирусе этот компонент защиты работает лучше?"
В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста. В результате фиксировалось качество обнаружения новых вирусов, а также эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике.
Методология проведения теста »
Анализ результатов теста и награды »
Оглавление:
- Введение
- Измерение эффективности проактивной антивирусной защиты
- Итоговые результаты теста
- Изменение эффективности эвристики в ходе теста
- Сигнатуры или эвристика?
- Анализ изменений в сравнении с предыдущими тестами
- Комментарии партнеров Anti-Malware.ru
Введение
В тестировании эффективности проактивной антивирусной защиты принимали участие 19 наиболее популярных комплексных антивирусных программ класса Internet Security, среди которых:
- Avast Internet Security 5.0
- AVG Internet Security 9.0
- Avira AntiVir Premium Security Suite 9.0
- BitDefender Internet Security 2010
- Comodo Internet Security 4.0
- Dr.Web Security Space 6.0
- Eset Smart Security 4.0
- F-Secure Internet Security 2010
- G DATA Internet Security 2010
- Kaspersky Internet Security 2010
- Microsoft Security Essentials 1.0
- Norton Internet Security 2010
- Outpost Security Suite Pro 2009 (6.7.3)
- Panda Internet Security 2010
- PC Tools Internet Security 2010
- Sophos Anti-Virus 9.0
- Trend Micro Internet Security 2010
- VBA32 Personal 3.12
- ZoneAlarm Security Suite 2010
Тест антивирусов проводился под операционной системой Windows XP SP3 в период с 1 по 28 апреля 2010 года четко в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).
Для проведения теста во время заморозки антивирусных баз была собрана коллекция из 2617 уникальных самплов новейших вредоносных программ и коллекция из 19980 чистых файлов.
Измерение эффективности проактивной антивирусной защиты
На рисунке 1 и в таблице 1 представлены результаты обнаружения неизвестных вредоносных программ различными антивирусами и их уровень ложных срабатываний, как обратная сторона любой проактивной технологии.
Таблица 1: Результаты теста эффективности эвристиков
|
Антивирус |
Процент обнаруженных |
Процент ложных |
|
F-Secure |
68,5% |
2,97% |
|
AVG |
64,9% |
0,17% |
|
Avira |
64,7% |
2,16% |
|
Sophos |
64,2% |
0,84% |
|
G DATA |
56,7% |
0,13% |
|
BitDefender |
54,1% |
0,12% |
|
Comodo |
51,4% |
0,69% |
|
Kaspersky |
48,1% |
0,01% |
|
ZoneAlarm |
44,4% |
0,01% |
|
Microsoft |
44,1% |
0,00% |
|
Trend Micro |
43,4% |
0,03% |
|
Avast |
41,0% |
0,03% |
|
Norton |
39,1% |
0,05% |
|
Eset |
38,7% |
0,18% |
|
PC Tools |
38,6% |
0,01% |
|
Dr.Web |
37,7% |
0,08% |
|
VBA32 |
35,1% |
0,55% |
|
Panda Security |
34,6% |
0,04% |
|
Agnitum |
32,6% |
0,11% |
Рисунок 1: Результаты теста эффективности антивирусных эвристиков
Важно! Согласно текущей схеме награждения для получения высоких наград необходимо не только показать высокий уровень детектирования, но и минимальный уровень ложных срабатываний.
К сожалению, в этом году ни один антивирусный продукт не смог показать результаты, достаточные для получения наград Gold Proactive Protection Award и Platinum Proactive Protection Award. Во многом это произошло по причине высокого уровня ложных срабатываний у большинства протестированных антивирусов, особенно тех, чьи результаты детектирования превысили 60%. Те же антивирусы, которые практически не имеют ложных срабатываний, не сумели показать очень высокий уровень детектирования.
Как видно из таблицы 1 абсолютным лидером по уровню обнаружения оказался F-Secure Internet Security, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким – 68%. Однако очень высокий уровень ложных срабатываний на уровне 3% не позволил этому антивирусу побороться за награды. Аналогичная ситуация и с Avira AntiVir Premium Security Suite, большое количество ложных срабатываний сводит на нет шансы на награды, даже при обнаружении 65% образцов вредоносных программ в коллекции.
Явные проблемы с ложными срабатываниями есть также у Sophos Anti-Virus (0.84%) и
Comodo Internet Security (0.69%), что, несмотря на высокие показатели по детектированию, позволило им рассчитывать лишь на Bronze Proactive Protection Award.
Лучшим антивирусов по качеству эвристики оказался AVG Internet Security, который показал очень высокий уровень детектирования при сравнительно небольшом уровне ложных срабатываний (65% и 0.17% соответственно). Близкие к лидеру результаты показали G DATA Internet Security и BitDefender Internet Security. Эта тройка лидеров получила награду Silver Proactive Protection Award.
Также награду Silver Proactive Protection Award получили Kaspersky Internet Security, ZoneAlarm Security Suite 2010, Microsoft Security Essentials, Trend Micro Internet Security и Avast Internet Security 5.0. Результаты этой пятерки антивирусов очень близки между собой, их уровень обнаружения составил 41-48%, а уровень ложных срабатываний оказался от 0% до 0.03% - минимальных значениях для данного теста.
Остальные 7 протестированных антивирусов, в числе которых Norton Internet Security, Eset Smart Security, PC Tools Internet Security, Dr.Web Security Space, VBA32 Personal,
Panda Internet Security и Outpost Security Suite Pro, показали удовлетворительный результат и получили награду Bronze Proactive Protection Award.
Итоговые результаты теста и награды
Изменение эффективности эвристики в ходе теста
Так как в соответствии с методологией в тесте использовалась месячная коллекция новых вредоносных программ (собранная с 1 по 28 апреля 2010 года), стало возможным проверить, как изменяется эффективность работы различных эвристиков во времени. Для этого коллекция была разбита по времени поступления образцов на 4 равные части, по неделе на каждую.
Таким образом, на рисунке 2 и в таблице 2 представлены данные по эффективности работы эвристиков на недельных коллекциях.
Рисунок 2: Результаты теста эффективности эвристиков (разбивка по неделям)
Таблица 2: Результаты теста эффективности эвристиков (разбивка по неделям)
|
Антивирус |
Процент обнаруженных вирусов |
|||
|
Неделя 1 |
Неделя 2 |
Неделя 3 |
Неделя 4 |
|
|
F-Secure |
81% |
55% |
63% |
46% |
|
AVG |
83% |
42% |
51% |
41% |
|
Avira |
68% |
61% |
64% |
57% |
|
Sophos |
71% |
48% |
59% |
63% |
|
G DATA |
61% |
57% |
63% |
36% |
|
BitDefender |
59% |
53% |
60% |
34% |
|
Comodo |
57% |
53% |
55% |
29% |
|
Kaspersky |
49% |
54% |
61% |
28% |
|
ZoneAlarm |
43% |
52% |
59% |
27% |
|
Microsoft |
42% |
51% |
57% |
33% |
|
Trend Micro |
41% |
48% |
53% |
36% |
|
Avast |
39% |
52% |
60% |
19% |
|
Norton |
43% |
41% |
47% |
16% |
|
Eset |
40% |
43% |
50% |
21% |
|
PC Tools |
35% |
50% |
59% |
18% |
|
DrWeb |
38% |
45% |
46% |
23% |
|
VBA32 |
31% |
44% |
50% |
26% |
|
Panda Security |
29% |
47% |
53% |
23% |
|
Agnitum |
30% |
43% |
50% |
14% |
Как видно из таблицы 2, практически у всех антивирусов резко падает уровень обнаружения на 4-й недельной коллекции. У многих антивирусных продуктов наблюдается аномальное повышение уровня обнаружения на 2-й и 3-й недельных коллекциях, особенно это выражено среди аутсайдеров.
Сигнатуры или эвристика?
В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста (8 мая 2010). В результате фиксировалась эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике. Это позволило увидеть, какую роль в обеспечении общего уровня детектирования антивирусов играет той или иной компонент (см. рисунок 3).
Рисунок 3: Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ
Диагональная линия на рисунке 3 означает уровень 100% детектирования новых вредоносных программ. Приблизиться к нему можно при помощи эффективной работы различных компонент антивирусных защиты или их сбалансированной работы.
Антивирусы, попавшие в темно-оранжевую (80-100%) и светло-оранжевую (60-80%) зоны, показали отличный и хороший уровень обнаружения новых вирусов (возрастом от 1 до 5 недель, см. методологию).
Антивирусные продукты F-Secure Internet Security, Sophos Anti-Virus, AVG Internet Security, Avira AntiVir Premium Security Suite, Comodo Internet Security - сделали это в основном за счет вклада проактивного компонента.
Антивирусы Outpost Security Suite Pro, Panda Internet Security, Dr.Web Security Space, PC Tools Internet Security и Avast Internet Security добились того же в основном за счет сигнатурного компонента.
Самыми сбалансированными в этом отношении оказались антивирусы Kaspersky Internet Security, ZoneAlarm Security Suite, Microsoft Security Essentials, Trend Micro Internet Security, в которых оба компонента отработали одинаково эффективно, а общий уровень обнаружения вредоносных программ оказался отличным.
Таблица 3: Качество обнаружения новых вирусов
|
Антивирус |
% обнаруженных вирусов без обновления |
% обнаруженных вирусов после обновления |
Суммарный % обнаруженных вирусов |
|
Kaspersky |
48,1% |
51,7% |
99,8% |
|
G DATA |
56,7% |
42,6% |
99,4% |
|
BitDefender |
54,1% |
44,4% |
98,4% |
|
Avira |
64,7% |
32,1% |
96,8% |
|
Avast |
41,0% |
54,9% |
95,9% |
|
ZoneAlarm |
44,4% |
51,4% |
95,8% |
|
DrWeb |
37,7% |
56,5% |
94,2% |
|
Microsoft |
44,1% |
48,3% |
92,4% |
|
PC Tools |
38,6% |
53,7% |
92,3% |
|
AVG |
64,9% |
26,7% |
91,6% |
|
Comodo |
51,4% |
38,0% |
89,5% |
|
Agnitum |
32,6% |
55,8% |
88,4% |
|
Panda Security |
34,6% |
50,3% |
84,9% |
|
Trend Micro |
43,4% |
41,3% |
84,7% |
|
Sophos |
64,2% |
16,5% |
80,7% |
|
F-Secure |
68,5% |
7,6% |
76,1% |
|
VBA32 |
35,1% |
34,5% |
69,6% |
|
Eset |
38,7% |
30,2% |
68,9% |
|
Norton |
39,1% |
18,8% |
57,9% |
Рисунок 4: Качество обнаружения новых вирусов, вклад различных компонентов
Лучшими по обнаружению новых вредоносных программ оказались Kaspersky Anti-Virus (99.8%), G DATA Internet Security (99.4%), BitDefender Internet Security (98.4%), Avira AntiVir Premium Security Suite (96.8%) и Avast Internet Security (95.9%).
Анализ изменений в сравнении с предыдущими тестами
По традиции мы решили проанализировать динамику результатов наших тестов на эффективность проактивной антивирусной защиты за 2009-2010 годы. Для этого к результатам этого теста были добавлены результаты мартовского теста за 2009 год.
Рисунок 5: Динамика изменения эффективности антивирусной эвристики 2009-2010
Как видно на рисунке 5 эффективность эвристических компонентов у многих протестированных антивирусов заметно ухудшилась. Особенно снизились результаты у антивирусов Dr.Web и Eset, Norton и Avast.
Если дополнительно посмотреть на данные позапрошлого аналогичного теста за 2007 год, то виден разворот тренда. В 2009 году результаты у многих вендоров росли, а теперь снижаются. Исключениями можно считать, пожалуй, только F-Secure, AVG и Sophos, результаты которых улучшились.
Рисунок 6: Динамика изменения качества обнаружения новых вирусов 2009-2010 (общий детект)
Что касается общего уровня детектирования новых вредоносных программ, то здесь ситуация более стабильная. Хотя многие вендоры стараются улучшать свои показатели, состав лидеров остается практически неизменным.
Как видно из рисунка 6, качественный рывок по общему уровню обнаружения за последний год сделали два вендора - Trend Micro и Agnitum (продукты Outpost). Наибольшее ухудшение общего уровня обнаружения отмечено у продуктов Norton, Eset и F-Secure (за счет смены у F-Secure лицензируемого антивирусного движка).
Сергей Ильин, управляющий партнер Anti-Malware.ru:
«Мы проводим подобные тесты с 2007 года и до последнего времени результаты в целом по индустрии росли. Проактивные эвристические технологии обнаружения вредоносных программ становились эффективнее. Судя по всему, в этом году этому пришел конец, и мы наблюдаем переломный момент. Привычная и проверенная эвристика более не становится эффективнее, а даже напротив, уровень детектирования за счет этой составляющей стал снижаться.
Причин для такого изменения тренда несколько. Во-первых, скорости создания новых образцов вредоносных программ неизбежно сводит все усилия по разработке новых проактивных алгоритмов детектирования вредоносных файлов к неким сигнатурам, но в другой обертке. Реальной проактивной защиты пользователей при этом уже нет. Во-первых, вендоры массово занялись «облачными» и поведенческими технологиями, сделав ставку на связанную с ними быстроту обеспечение детекта. Этот подход, с моей точки зрения, является действительно более перспективным в силу целого ряда причин, поэтому в ближайшие годы нас ожидает некоторая эволюция самого понятия проактивности».
Василий Бердников, руководитель тестовой лаборатории Anti-Malware.ru:
«Эвристический модуль - важный компонент современной комплексной защиты от вредоносных программ, который позволяет повысить качество защиты пользовательского ПК от вредоносных программ. Но при этом данный модуль не должен мешать работе легитимных приложений, то есть не давать ложное срабатывание на программы, не являющиеся вредоносными. Качество работы эвристического модуля тем выше, чем выше процент опознания вредоносных файлов и ниже процент ложных срабатываний. Как видно из результатов тестирования, некоторые продукты имеют как высокий уровень детектирования, так и высокий уровень ложных срабатываний, что не есть хорошо. В целом, около половины протестированных антивирусов имеют достаточно высокий процент детектирования и хорошие результаты по ложным срабатываниям, что позволяет эффективно противостоять угрозам из сети Интернет».
Вячеслав Русаков, эксперт Anti-Malware.ru:
«Текущая ситуация в антивирусной индустрии следующая – сигнатурные методы обнаружения практически не работают, и это ни для кого не секрет. Из-за частого обновления вредоносного кода, сигнатуры, добавляемые в базы антивирусных продуктов, мертвы еще до своего рождения. Поэтому на первый план выходят проактивные методы обнаружения. Эвристические, эмуляторно-эвристические, поведенческие алгоритмы – первый слой противодействия новейшему вредоносному коду. Однако не все так просто и антивирусным компаниям приходится искать компромисс между уровнем детектирования и количеством ложных срабатываний, которых должно быть минимальное количество.
Данный тест отлично иллюстрирует сказанное мной выше в последнем предложении. Большинство антивирусных продуктов имеют довольно средний процент проактивного обнаружения при неплохом уровне ложных срабатываний. У некоторых уровень детектирования несколько выше, но и количество ложных срабатываний просто зашкаливает (F-Secure, Avira – яркие представители). Есть и те, у которых процент проактивного детектирования совсем мал, очевидно, эти компании не уделяют данным технологиям достаточного внимания или им не хватает квалифицированного персонала (Norton, Eset и так далее).
В целом ситуация относительно печальная и если вендоры не обратят внимание на эту проблему прямо сейчас, то в ближайшем будущем (на самом деле, уже «вчера») их ожидают терабайты «мертвых тел», которые необходимо добавить в базы при полнейшем отсутствии проактивного детектирования у конечного пользователя».
Комментарии партнеров Anti-Malware.ru
Денис Назаров, руководитель отдела антивирусных исследований «Лаборатории Касперского»:
«Мы живем в изменчивом и неспокойном мире. Производители вредоносных программ выпускают новые версии своих творений раз в несколько часов. Если раньше время существования эвристического или проактивного детектирования семейства вредоносных программ исчислялось неделями, то сегодня сутки уже считаются хорошим результатом.
Перед лицом этих угроз должны развиваться и методики тестирования. То, что коллектив Anti-Malware.ru проводит сложные, комплексные тесты является большим плюсом, однако я бы посоветовал двигаться в сторону динамического тестирования, наиболее полно отражающего аспекты поведения, как вредоносных программ, так и пользователей персональных продуктов.
Текущее исследование наглядно показало, что уровень ложных срабатываний продуктов «Лаборатории Касперского» почти в 40 раз ниже, чем среднее значение по всем участникам теста. Другая важная характеристика – надежность информационной защиты – также на высоте. Все это говорит о высоком качестве решений от «Лаборатории Касперского». Хочется поблагодарить коллектив Anti-Malware.ru за проведенное исследование, а также надеяться на внедрение более современных тестовых методик».
Николай Романов, технический консультант Trend Micro в России и СНГ:
«Как показали последние тенденции, эвристика в нынешних условиях активности сложных и изощренных угроз играет хоть и не последнюю, но далеко и не первую роль. Результаты другого теста от Anti-Malware.ru, на качество защиты от новейших угроз (Zero-day), наглядно продемонстрировали, что одним из основных механизмов защиты стало не блокирование угрозы на этапе проверки уже загруженного образца, а отсечение самого источника загрузки (веб-сайта).
Больший акцент заметен и в том, что блокирование уже загруженного образца все более вытесняется блокированием угрозы до ее попадания в сеть. Отсюда и несколько менее выдающиеся результаты протестированного решения Trend Micro Internet Security 2010, где одной из главных защитных функций является блокирование глобальных источников распространения вредоносных программ и механизмы обратной связи (которые становятся все более распространенными и среди многих других решений как для домашних, так и корпоративных пользователей), позволяющие вендору своевременно реагировать на изменение ландшафта угроз».
Илья Рабинович, генеральный директор и основатель SoftSphere Technologies:
«На протяжении многих лет эффективность чисто сигнатурного детектирования зловредов неуклонно снижается. Ситуацию могли бы исправить эвристические методы обнаружения, но в реальности этого не происходит, поскольку эвристика есть, по сути, игра "я угадаю этот зловред по трём нотам"- "угадывай!". Зловредописатели тоже не дураки, они сбивают эвристический детект на свои файлы различными уловками. Вполне логично, что уровень вклада эвристики в защиту конечных пользователей также снижается из года в год. И будет продолжать снижаться, равно как и эффективность сигнатур. Да и вообще, время высокой эффективности классических антивирусных движков давно кануло в Лету».
Никита Парфенов, управляющий проектом BitDefender в компании Aflex Distribution:
«Эвристическое обнаружение вредоносных программ у BitDefender и в этом году оказалось на самом высоком уровне. BitDefender имеет один из самых высоких уровней проактивного детекта среди антивирусов, при этом сохраняя минимальный уровень ложных срабатываний: в технологическом плане это один из лучших продуктов, представленных на российском рынке. Данный тест является отличным тому подтверждением. Кроме того, результаты продуктов BitDefender стабильно высокие во всех подобных тестах за последние годы, чем могут похвастаться крайне малое количество вендоров.
Антивирусные продукты BitDefender отлично показывает себя в тестах на эвристику благодаря фокусу на развитии технологий проактивной защиты. Постоянные усовершенствования нашей запатентованной технологии B-Have позволяют успешно противостоять новым и еще не известным вредоносным программам: в новой линейке домашних продуктов BitDefender 2011, которая выходит в этом году, как раз будут использованы все наши последние разработки в области проактивной защиты».
Максим Коробцев, директор по разработке Agnitum:
«Тестирования проводились в достаточно жестких условиях - базы сигнатур не обновлялись 6 недель, что маловероятно при реальном использовании продукта. После обновления баз уровень сигнатурного детектирования Outpost является одним из лучших, что в очередной раз подтверждает целесообразность отраслевых рекомендаций пользователям - регулярно обновлять базы.
Необходимо отметить, что по результатам других тестирующих организаций (RAP-тест VB100) с базами, насчитывающими несколько десятков тысяч образцов, эвристические компоненты Outpost проявляли себя в 2 раза лучше, что может свидетельствовать о статистической погрешности в виду малого количества сэмплов в запасе Anti-Malware.ru».
Авторы теста:
Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться