Тест самозащиты антивирусов (сентябрь 2010)

Зачастую вредоносные программы содержат в себе функции, предназначенные для подавления или нарушения работы антивирусной защиты системы. В таких условиях современные антивирусные продукты должны уметь надежно себя защищать, т.е. обладать самозащитой. Это позволяет им выстоять в случае наиболее сложных атак, когда вредоносная программа пытается различными методами нарушить их работу, и далее удалить инфекцию штатными средствами.

В данном тесте, уже третьем по счету, изучались возможности самозащиты комплексных антивирусных продуктов класса Internet Security от возможных атак. Тест проводился под операционными системами Windows XP SP3 и Windows 7 с правами локального администратора на следующих уровнях:

1. Изменение разрешений на доступ к файлам и ключам реестра.
2. Модификация/удаление модулей.
3. Удаление антивирусных баз.
4. Модификация/удаление значимых ключей реестра.
5. Завершение процессов.
6. Модификация процессов/кода.
7. Выгрузка драйверов.

Дополнительно мы проанализировали динамику изменений самозащиты антивирусов по сравнению с прошлым тестом от января 2009 года.

Методология проведения теста »
Анализ результатов теста самозащиты и награды »

Оглавление:

- Введение
- Проверка самозащиты антивирусов
- Итоговые результаты теста и награды
- Анализ изменений в сравнении с предыдущими тестами
- Комментарии партнеров Anti-Malware.ru

Введение

В тестировании принимали участие 20 наиболее популярных комплексных антивирусных продуктов класса Internet Security актуальных версий на момент начала тестирования (10 августа 2010 года), среди которых:

1. Avast Internet Security 5.0.462
2. AVG Internet Security 9.0 (build 117)
3. Avira AntiVir Premium Security Suite 10.0.0.542
4. BitDefender Internet Security 2010 (Build: 14.0.23.312)
5. Comodo Internet Security 4.1.19277.920
6. Dr.Web Security Space 6.0 (12.0.0.58851)
7. Eset Smart Security 4.2.40.10
8. F-Secure Internet Security 2010 (1.30.15265.0)
9. G DATA Internet Security 2011 (21.0.2.1)
10. Kaspersky Internet Security 2011 (11.0.1.400)
11. McAfee Internet Security 2010 
12. Microsoft Security Essentials 1.0.1963.0
13. Norton Internet Security 2010 (17.7.0.12)
14. Online Solutions Security Suite 1.5
15. Outpost Security Suite Pro 2010 (7.0)(3377.514.1238.401)
16. Panda Internet Security 2011(16.00.00)
17. PC Tools Internet Security 2010 (7.0.0.545)
18. Trend Micro Internet Security 2010 (17.50.0.1366)
19. VBA32 Personal 3.12.12.6
20. ZoneAlarm Security Suite 2010 (9.3.14.0)

Тест самозащиты антивирусов проводился под операционными системами Windows XP SP3 и Windows 7 x86 (впервые) по следующим группам атак:

1. Изменение разрешений на доступ к файлам и ключам реестра.
2. Модификация/удаление модулей.
3. Удаление антивирусных баз.
4. Модификация/удаление значимых ключей реестра.
5. Завершение процессов.
6. Модификация процессов/кода.
7. Выгрузка драйверов.

Проверка самозащиты антивирусов по каждому из 38 параметров проводилась четко в соответствии с определенной методологией тестирования.

Проверка самозащиты антивирусов

Тестирование самозащиты антивирусов проводилось по набору из 38 тестовых кейсов для каждой операционной системы отдельно (подробные по каждому из них можно посмотреть в отчете в формате Excel).

Напомним, что согласно используемой схеме награждения, 1 балл (+) начислялся, если по одному из параметров (виду атаки) самозащита продукта сработала полностью успешно. 0.5 балла (или +/-) - если самозащита по данному параметру частично отсутствует, но основной функционал при этом сохранился (автоматически восстановился). И, наконец, в случае полного отсутствия самозащиты и деактивации основного функционала антивирусу не начислялось баллов вовсе. Таким образом, максимально возможное количество набранных баллов в тесте составило 76 (или по 38 для каждой ОС).

В таблицах 1-2 представлены расчет количества баллов для каждого антивирусного продукта по числу отраженных и пропущенных его самозащитой атак в ходе теста отдельно для Windows XP SP3 и Windows 7 x86.

Таблица 1: Количество успешно отраженных и пропущенных атак, суммарный расчет баллов на Windows XP SP3

Таблица 2: Количество успешно отраженных и пропущенных атак, суммарный расчет баллов на Windows 7 x86

Рисунок 1: Результаты теста самозащиты антивирусов на Windows XP SP3 и Windows 7 x86

Как видно из результатов теста, большинство антивирусов достойно выдержали испытания. 12 из 20 протестированных антивируса преодолели барьер 80% набранных баллов хотя бы на одной из операционных систем, что на фоне результатов прошлых тестов очень радует.

Результаты на Windows XP в целом немного лучше, чем на более новой Windows 7 x86 (в сумме по всем вендорам 580 против 562 баллов). Заметно хуже самозащита на Windows 7 оказалась у таких антивирусных продуктов как Eset Smart Security, G DATA Internet Security, F-Secure Internet Security 2010, AVG Internet Security, VBA32 Personal. Заметно лучше только у двоих - Panda Internet Security и Microsoft Security Essentials.

Итоговые результаты теста и награды

Таблица 3: Итоговые результаты теста самозащиты антивирусов и полученные награды

Тестируемый продукт	Награда	Всего баллов (максимум 76)	% от максимально возможного
Kaspersky Internet Security 2011	Platinum Self-Protection Award	76	100%
DrWeb Security Space 6.0		75	99%
Online Solutions Security Suite 1.5	Gold Self-Protection Award	74	97%
Outpost Security Suite Pro 2010		74	97%
Norton Internet Security 2010		69,5	91%
Avast! Internet Security 5		69	91%
Comodo Internet Security 4.1		67,5	89%
Avira Premium Security Suite 10.0		67	88%
BitDefender Internet Security 2011		65,5	86%
ZoneAlarm Internet Security Suite 2010		65	86%
Eset Smart Security 4.2	Silver Self-Protection Award	58	76%
Panda Internet Security 2011		53,5	70%
G DATA Internet Security 2011		53,5	70%
McAfee Internet Security 2010		48	63%
AVG Internet Security 9.0	Bronze Self-Protection Award	45	59%
F-Secure Internet Security 2010		43	57%
VBA32 Personal 3.12		42	55%
Trend Micro Internet Security 2010		38	50%
PC Tools Internet Security 2010		37,5	49%
Microsoft Security Essentials 1.0	Тест провален	22	29%

Как видно из таблицы 3, лидерами в самозащите являются российские антивирусные продукты Kaspersky Internet Security 2011 и Dr.Web Security Space, показавшие результаты 100% и 99% соответственно.  Эти два продукта получают наивысшую награду Platinum Self-Protection Award.

Очень высокие результаты в самозащите от 97 до 86% продемонстрировали Online Solutions Security Suite, Outpost Security Suite Pro, Norton Internet Security 2010, Avast! Internet Security, Comodo Internet Security, Avira Premium Security Suite, BitDefender Internet Security и ZoneAlarm Internet Security Suite. Эта восьмерка антивирусных продуктов была удостоена награды Gold Self-Protection Award.

Стоит отметить молодой отечественный продукт Online Solutions Security Suite, который в первом же тесте сумел дебютировать с золотой наградой.

Очень достойные результаты показали также Eset Smart Security, Panda Internet Security, G DATA Internet Security и McAfee Internet Security 2010, получившие награду Silver Self-Protection Award.

Остальные антивирусы за исключением, к сожалению, только Microsoft Security Essentials показали удовлетворительный результат и получили награду Bronze Self-Protection Award.

Анализ изменений в сравнении с предыдущими тестами

Традиционно мы решили проанализировать динамику улучшения самозащиты антивирусных программ за 2009-2010 годы. Для этого к результатам этого теста на Windows XP были добавлены результаты прошлого теста от января 2009 года.

Таким образом, можно проследить изменения в самозащите Windows XP для каждого протестированного продукта (за исключением AVG Internet Security, Comodo Internet Security, G DATA Internet Security, Online Solutions Security Suite и PC Tools Internet Security 2010, которые не участвовали в предыдущих тестах) - см. рисунок 2.

Для Windows 7 построить такую динамику пока не представляет возможным, так как до этого мы не проводили тестов самозащиты под этой операционной системой.

Рисунок 2: Динамика изменения уровня самозащиты антивирусных программ на Windows XP

Как видно на рисунке 2, практически все вендоры за прошедшие полтора года улучшили самозащиту своих продуктов. Стабильно очень высокие результаты показали российские Kaspersky Internet Security, DrWeb Security Space и зарубежные Norton Internet Security, Avast! Internet Security и Avira Premium Security Suite.

Ухудшение самозащиты наблюдается только у VBA32 Personal, Panda Internet Security и Trend Micro Internet Security. Результат Microsoft также снизился, но связано это с полной заменой платного Microsoft Windows Live OneCare на бесплатный Microsoft Security Essentials, чья самозащита оказалась значительно хуже.

Динамика изменения результатов теста позывает, что наибольшая работа по улучшению самозащиты своих персональных продуктов была проделана компаниями BitDefender (сумела завоевать золото), Eset и McAfee – отличная работа!

Несмотря на общий прогресс в самозащите, результаты многих антивирусных продуктов еще оставляют желать лучшего. Многие вендоры пока еще уделяют явно недостаточное внимание этому аспекту защиты. Особенно это касается крупных западных вендоров, которые уже традиционно занимают последние места в подобных тестах.

Чтобы ознакомиться c подробными результатами теста самозащиты конкретного антивируса и убедиться в правильности итоговых расчетов, рекомендуем Вам скачать результаты этого теста в формате Excel или PDF.

Василий Бердников, руководитель тестовой лаборатории Anti-Malware.ru так комментирует его результаты:

«Самозащита антивируса - важный компонент современного защитного комплекса. Не мало вредоносных программ после установки в систему пытаются тем или иным способом нарушить работоспособность защитной программы с целью не допустить своего обнаружения и удаления. В данном тестировании используются типовые атаки, которые использовались и используются вредоносными программами при попадании на компьютер пользователя. Как видно из результатов, самой эффективной самозащитой обладают Касперский и Доктор Веб, что в свою очередь заставит вирмейкеров искать нестандартные способы их нарушения их работы в будущем. Так же хочется добавить, что самозащита эффективна только против атак из режима пользователя, но мало эффективна против атак из ядра».

Кирилл Керценбаум, эксперт Anti-Malware.ru:

«Во-первых бы хотелось отметить значительно выросшую зрелость данного теста: впервые проверка свойств продуктов была проведена сразу на двух операционных системах и по большему количеству проверок, что явно повышает его достоверность и снижает возможность включения фактора случайности. При этом как мы видим все те же производители показывают довольно стабильный результат, несмотря на ужесточение требований к качеству защитных механизмов продуктов, которые как мы понимаем крайне необходимы современным решениям безопасности, особенно с учетом появления все более технически совершенных угроз, которым им приходится противостоять».

Михаил Кондрашин, эксперт Anti-Malware.ru:

«Уже довольно давно вирусописатели перестали рассчитывать на отсутствие какой-либо защиты на компьютере жертвы. Сформировавшаяся индустрия разработки вредоносного кода не готова мириться с тем, что пользователи используют средства защиты. Несомненно, что авторы вредоносного кода проводят исследования аналогичные представленному и встраивают в свои творения механизмы, отключающие защиту при первой возможности. Подобные вредоносные программы не оставляют шанса антивирусным компаниям защитить своего клиента, поэтому все большую значимость приобретают механизмы, которые обеспечивают превентивную защиту от всевозможных угроз. Примерами подобной превентивной защиты являются поведенческие анализаторы, не допускающие опасных операций после того, как вредоносный код уже запустился, а также репутационные технологии, которые всячески препятствуют появлению вредоносного кода на компьютере пользователя. Последний подход представляется наиболее эффективным, так как он не оставляет злоумышленникам никакого шанса обмануть систему защиты. Ведь при блокировке угрозы по репутации, никакие ухищрения  не помогут — вредоносный код вообще не допускается до компьютера жертвы».

Комментарии партнеров Anti-Malware.ru

Дмитрий Устюжанин, руководитель продуктового маркетинга департамента потребительского рынка «Лаборатории Касперского»:

«Атака на систему антивирусной защиты, установленную на компьютере,  - это один из распространенных методов, которые киберпреступники используют, чтобы получить доступ к ценной информации и ресурсам жертв. Учитывая это, мы еще на этапе разработки уделяем большое внимание защите собственного продукта от вредоносного кода. Мы очень признательны за высокую оценку наших усилий и экспертизы. Платиновая награда Kaspersky Internet Security 2011 подтверждает высокий уровень самозащиты  наших решений, и, как следствие, надежность защиты наших пользователей».

Каталин Кошой, глава лаборатории BitDefender по защите от онлайн-угроз:

«Нашим клиентам необходима лучшая защита от онлайн-угроз. Для того, чтобы добиться этой цели, необходимо защитить от новых и зарождающихся угроз не только клиентов, но и сам антивирусный продукт, чтобы вредоносные программы не смогли отключить или обойти его функционал.  Золотая награда в данном тесте от Anti-Malware.ru и положительная динамика относительно прошлых тестов подтверждает, что мы серьезно относимся к защите нашего продукта от атак и постоянно работаем над улучшением качестве самозащиты своих продуктов.

Также должны отметить, что результаты явно улучшились по всей отрасли в целом. Это означает, что, несмотря на постоянно растущее количество угроз, все основные производители антивирусного ПО очень серьезно относятся к важности высокого уровня самозащиты своих продуктов».

Сергей Уласень, начальник отдела разработки антивирусного ядра компании «ВирусБлокАда»:

«Награда Bronze Self-Protection Award, полученная антивирусом VBA32 в текущем тесте, обусловлена падением уровня самозащиты комплекса под управлением операционной системы Windows 7 x86. Данная проблема уже решена в бета-версии нашего нового продукта и ожидает скорейшего выхода в релиз. Задержка вызвана желанием более тщательного тестирования данного функционала с целью избежать проблем со стабильностью у наших пользователей».

Илья Рабинович, генеральный директор и основатель SoftSphere Technologies:

«Парадигма работы современного антивируса - мы ловим то, что можем поймать сейчас и зачищаем систему от заражения потом, если мы пропустили вирус. Поэтому способность средства защиты к сопротивлению несанкционированным попыткам остановить либо нарушить их работу зловредным кодом, пропущенным средством защиты, чрезвычайно важна в данных условиях. Примечательно, что лучшие в этом оказались антивирусы российских производителей, и это не случайно. Ибо зловредные коды производства стран бывшего СССР наиболее технологичны и злонамеренны».

Алексей Чалей, руководитель компании Online Solutions:  

«Наш продукт Online Solutions Security Suite впервые участвовал в тестах коллектива Anti-Malware.ru и сразу показал превосходный результат. Полученные оценки в тесте самозащиты в связке с недавней победой нашего продукта в тестах проактивной защиты matousec.com доказывают высокое качество созданного нами решения. Хотелось бы, чтобы при выборе средства защиты компьютера пользователи обращали большое внимание на технологичность продукта и качество обеспечиваемой защиты, а не на раскрученность брэнда.

Результаты теста Anti-Malware.ru не стали для нашей команды сюрпризом. Мы привыкли все делать на совесть, и полученная награда очередной раз подтвердила правильность нашего подхода. Мы разрабатываем продукт, осуществляющий реальную защиту компьютера и пользовательских данных.  Коллективу Anti-Malware.ru желаю дальнейшего развития, привлечения новых экспертов, повышения технического уровня тестов и, конечно, популярности среди пользователей».

Авторы теста:

Вячеслав Копейцев
Илья Шабанов

Gold Self-Protection Award