Сравнение антивирусов по эффективности защиты от новейших вредоносных программ (результаты)

[Сергей Ильин 1538]

Уважаемые коллеги!

Предлагаю вашему вниманию результаты первого в своем роде динамического сравнительного тестирования антивирусов на качество защиты от новейших вредоносных программ, методология которого обсуждалась ранее. Что значит динамического? Тестирования максимально приближенного к реалиям, когда качество защиты тестируется в боевых условиях (на реальных угрозах и с актуальными именно на этот момент обновлениями).

http://www.anti-malware.ru/node/885

Огромное спасибо команде, работающей над этим проектом, а именно Deja_Vu и vaber.

Мы пошли на смелый эксперимент и в дополнение к антивирусам протестировали еще и два продукта класса HIPS: DefenseWall HIPS и Safe'n'Sec.

Результаты сравнительного тестирования следующие (1 балл - заражение предотвращено, 0 - пропущено):

Антивирус Кол-во предотвращенных заражений % от макс (34)

Kaspersky 30 88%

Avira 26 76%

AVG 25 74%

Sophos 19 56%

BitDefender 18 53%

F-Secure (СТРИМ) 18 53%

Dr.Web 16 47%

G Data 16 47%

Avast! 14 41%

Outpost 13 38%

Trend Micro 12 35%

Microsoft 11 32%

Eset 10 29%

McAfee 9 26%

Panda 8 24%

Norton 4 12%

VBA32 2 6%

HIPS Кол-во предотвращенных заражений % от макс (34)

DefenseWall HIPS 33 97%

Safe'n'Sec 15 44%

http://www.anti-malware.ru/node/885#results

Подробности в полном отчете в формате Excel

http://www.anti-malware.ru/files/dymanic_test_results4.xls

Результаты во многом достаточно интересные. Главное что можно сказать: проактивные технологии могут быть надежными и обеспечивать приемлемую защиту. Они все таки работают!

С нетерпением жду ваших комментариев и вопросов!

Методология тестирования

P.S. Мы не стали делать награждения медалями, так как это сравнительное тестирование является своего рода пробным шаром.

[Alex_Goodwin 81]

Поздравляю Илью и ЛК.

Офф. опечатка:

  Цитата

Как видно из таблицы 2, из программ класса HIPS очень высокий результат показал DefenseWall HIPS, сумевший детектировать попытки заражения системы пости в 100%.

[Илья Рабинович 521]

Эх, жаль нету медалек. Повесил бы платину на сайтик...

[Deja_Vu 366]

  Илья Рабинович сказал:

Эх, жаль нету медалек. Повесил бы платину на сайтик...

[georgy_n 80]

Примите комменты незаинтересованной стороны, в основном с критикой.

Неточности:

* McAfee Internet Security Suite 8.1 - такого продукта нет, нынешние версии 2009 скрывают под собой 13.х.х., 2008-е 12.х.х.

Что не понравилось:

* отбор коллекции:

  Цитата

загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal (всего на этом сервисе подключено 38 различных антивирусных движков). Если отобранные самплы и детектировались кем-то, то вердикты как правило были неточными (подозрение на заражение или упакованный объект).

изначально условия были неравными и определенные продукты имели преимущество;

* разные классы продуктов; некоторые IS оснащены функциями мониторинга реестра, скриптов, etc. Но это спорно: если у компании нет IS - решения, то в том ее вина.

* полное сходство результатов Рис. 1 и Табл. 1. Получается, что все продукты взяли сэмплы сигнатурами? Дома использую Outpost Firewall Pro (выключены веб-модуль и модуль анти-шпион), модуль которого Локальная безопасность (aka HIPS) в настройках по умолчанию предотвращает запуск приложений, контролирует обращение к реестру, диску, etc. Вызывает сомнение в виду закрытости сэмплов.

* некорректность сравнения DefenseWall и Safe'n'Sec, проповедующих ну совсем разные алгоритмы работы. Хотя это не умаляет достоинств DefenseWall HIPS и Илью можно поздравить. Тем не менее, использование тех же Shadow Surfer и Shadow Defender свело бы на нет и его старания: достаточно одной перезагрузки ПК.

Что понравилось:

сделан первый нетвердый, но нужный шаг. Возможно, что этот тест подтолкнет тестовые лаборатории к работе и в этом направлении, тогда появятся более четкие методологии. Хорошо, что в тест попали представители класса HIPS, но слишком уж узок круг тестируемых. В перспективе можно предложить вендорам передать на тестирование настроенные ими продукты для получения максимального результата. Считаю, что не стоит в дальнейшем проводить тестирование накануне выхода новых версий, но это IMHO. Удачи.

[vovan7777 95]

хотелось бы узнать-многие кто использует Avira Premium также пользуются Comodo 3(настроенного на safe или agressive режим) в связке,любопытно было бы узнать на сколько суммарная эта комбинация % потянет?

Сергей,комбайн Avira не особо популярен в рунете..(мягко сказано) в отличие от Premium версии в связке с Comodo 3.

или Outpost.

у меня лично не раз правильно настроенный defense+ выручил,когда Авира молчала.

и если другие вендоры как ЛК и Eset делают ударную связку на свои комбайны в основном и не рекомендуют использовать тот же Comodo 3 даже с простым антивирусом,то в Авире с этим намного проще.

Если не трудно ,то возможно ли протестировать эту связку,при условии-тонкой настройки"по максимуму" Comodo 3

А,уж если взять простую бесплатную Авиру+Comodo 3,то это фактически получится оптимальная бесплатная комбинация для обычных пользователей.

[p2u 824]

  Сергей Ильин сказал:

Тестирования максимально приближенного к реалиям, когда качество защиты тестируется в боевых условиях (на реальных угрозах и с актуальными именно на этот момент обновлениями).

Cпасибо, Сергей; спасибо vaber; спасибо DejaVu.

Неплохое начало того, как надо.

Естественно результаты меня НЕ удивляют. Победителей поздравляю, особенно Илью - заслуженная победа.

Меня порадовала Avira. Удивил, да - разочаровал меня Outpost немного - я лично ожидал больше от него. Очень жду комментов.

P.S.: А где Comodo Internet Security?

  Методология сказал:

была установлена операционная система Microsoft Windows XP Pro SP2 (последние обновления намеренно не ставились).

Вот это интересный момент, который значительно влияет на результаты. Браузером по умолчанию был IE6, я правильно понял? Какие add-ons и plug-ins были установлены?

Paul

[kvit 85]

  Цитата

загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов

а как узнать детектировался ли образец антивирусом? есть ли такая таблица...

[Deja_Vu 366]

  p2u сказал:

P.S.: А где Comodo Internet Security?

Он, если мне не изменят память, вышел уже после начала теста -))

  georgy_n сказал:

* McAfee Internet Security Suite 8.1 - такого продукта нет, нынешние версии 2009 скрывают под собой 13.х.х., 2008-е 12.х.х.

тест можно сказать был пол года назад ... -))

после него, посыпались обновления продуктов ... хотя все же надо перепроверить, может дествительно ошибочка закралась

[Андрей-001 1099]

  Сергей Ильин сказал:

Мы пошли на смелый эксперимент и в дополнение к антивирусам протестировали еще и два продукта класса HIPS: DefenseWall HIPS и Safe'n'Sec.

  Илья Рабинович сказал:

Эх, жаль нету медалек. Повесил бы платину на сайтик...

Вот так всегда: старается человек, старается... А медалек-то и нетусь, кончились.

Поздравляю с хорошими показателями!

[Deja_Vu 366]

  p2u сказал:

Вот это интересный момент, который значительно влияет на результаты. Браузером по умолчанию был IE6, я правильно понял? Какие add-ons и plug-ins были установлены?

IE 7 - тогда в Windows Update уже предлагалось его скачать.

Все add-ons по умолчанию

  vovan7777 сказал:

Сергей,комбайн Avira не особо популярен в рунете..(мягко сказано) в отличие от Premium версии в связке с Comodo 3.

или Outpost.

Не знай-не знай ... у нас в локалке(Татарстан) достаточно популярен -))

А вот связку с комодо, максимум 1-2 человека делают.

+

Если пробывать тестировать все связки, а не сами продукты - можно умереть и не дождаться конца теста

[dr_dizel 385]

Спасибо за тест. А то исчесался весь уже ожидая.

  Цитата

Антивирус Avira оказался эффективен в силу высокого уровня обнаружения эксплойтов (см. таблицу 3) и упакованных объектов (имеется в виду детектирование вредоносной по используемому в ней упаковщику).

Я ещё сплю или таблицы 3 действительно нет?

И ещё.

  Цитата

Это означает то, что эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов... Если отобранные самплы и детектировались кем-то, то вердикты как правило были неточными (подозрение на заражение или упакованный объект).

В этих двух цитатах кроется самый спорный момент теста. Создаётся впечатление, что некоторые представители просто прошли за счёт детекта по пакеру. Куда деть эти 20% теперь? Прибавить на своё усмотрение какому-нибудь вендору или отнять?

[Arakcheev 35]

Попробуйте потестить на данных условиях 5-ку от веба.

[dr_dizel 385]

Эм.......

Сэмплы одинаковые - результаты разные.

Столбцы V и AA.

Отредактировал Декабрь 23, 2008 dr_dizel

[Сергей Ильин 1538]

  Илья Рабинович сказал:

Эх, жаль нету медалек. Повесил бы платину на сайтик...

То медали нужны, то это воспринимается полным злом. А если серьезно, то обкатаем хорошенько методику тестирования и будут медальки.

  georgy_n сказал:

* McAfee Internet Security Suite 8.1 - такого продукта нет, нынешние версии 2009 скрывают под собой 13.х.х., 2008-е 12.х.х.

Уверяю вас, такой продукт есть Версии типа 12.0 и 13.0 - это относится к Trend Micro Internet Security

  georgy_n сказал:

изначально условия были неравными и определенные продукты имели преимущество;

* разные классы продуктов; некоторые IS оснащены функциями мониторинга реестра, скриптов, etc. Но это спорно: если у компании нет IS - решения, то в том ее вина.

Немного не понял. У каких продуктов было преимущество? У тех, которые более технологически продвинутые?

  georgy_n сказал:

* полное сходство результатов Рис. 1 и Табл. 1.

Так это и есть одно и тоже. Для наглядности данные таблиц представлены графически. У них даже названия совпадают.

  georgy_n сказал:

Что понравилось:

сделан первый нетвердый, но нужный шаг. Возможно, что этот тест подтолкнет тестовые лаборатории к работе и в этом направлении, тогда появятся более четкие методологии. Хорошо, что в тест попали представители класса HIPS, но слишком уж узок круг тестируемых. В перспективе можно предложить вендорам передать на тестирование настроенные ими продукты для получения максимального результата. Считаю, что не стоит в дальнейшем проводить тестирование накануне выхода новых версий, но это IMHO. Удачи.

Да, это именно первый шаг, за которым должен последовать полноценный тест по улучшенной методологии. С версиями получилось неважно, согласен, тут просто момент выбрать крайне сложно, всегда кому-то не угодишь + тестов много по плану идет.

  p2u сказал:

P.S.: А где Comodo Internet Security? wink.gif

Увы, его на начало теста еще не было

  kvit сказал:

а как узнать детектировался ли образец антивирусом? есть ли такая таблица...

Некоторые и до сих пор не детектируют эти образцы

Посмотрите в поиске по хешу на virustotal.com, хеши указаны в экселевском файле (полном отчете о тестировании).

dr_dizel, так таблица слишком широкая получается, было невозможно работать с ней

  Arakcheev сказал:

Попробуйте потестить на данных условиях 5-ку от веба.

Хм, а за счет чего она должна быть лучше? Там есть хипс, как у KIS 2009?

[kvit 85]

  Сергей Ильин сказал:

Некоторые и до сих пор не детектируют эти образцы smile.gif

Посмотрите в поиске по хешу на virustotal.com, хеши указаны в экселевском файле (полном отчете о тестировании).

ерунда какая-то... надо это сразу делать... взял первые случайно два хэша - nod32 их знает... причем когда эти файлы появились на virustotal было достаточно давно,а как узнать когда он стал определятся и определся ли раньше не понятно...

не зачет...

http://www.virustotal.com/analisis/5f193f2...3374678d6e22967

вообще не вижу NOD32...

[Deja_Vu 366]

  kvit сказал:

ерунда какая-то... надо это сразу делать... взял первые случайно два хэша - nod32 их знает... причем когда эти файлы появились на virustotal было достаточно давно,а как узнать когда он стал определятся и определся ли раньше не понятно...

не зачет...

А не важно.. определял он их или нет, важно лишь заразил он систему или нет.

[Сергей Ильин 1538]

  kvit сказал:

ерунда какая-то... надо это сразу делать

Вендоры по хешу самого вредоноса легко узнают, когда сампл был добавлен в их базы. А то факт, кто их знал видно из итоговых результатов.

Мне вообще не понятен ваш вопрос. Антивирус мог и не знать самого вредоноса, но детектировать эксплойт или загрузчик. Хочу полюбопытствовать теперь, как это все можно проверить по вирустоталу и сохранить в отчете? Мы же тут не только тупо тестировали файловые антивирусы ... почитайте методологию внимательно, ОК?

[Umnik 997]

Проверяется антивирус, как он работает в реале как говорится "здесь и сейчас". Т.е. имитация реальных боевых условий.

[kvit 85]

я всё это написал к тому, что где гарантия, что один или несколько антивирусов уже ДО проведения тестирования не обладали (знали) сигнатурами тестируемых вирусов...

[Deja_Vu 366]

  kvit сказал:

я всё это написал к тому, что где гарантия, что один или несколько антивирусов уже ДО проведения тестирования не обладали (знали) сигнатурами тестируемых вирусов...

читайте методологию.

[kvit 85]

20% - большой показатель, особенно учитываю плотную группу в середине...

20% - достаточно из первого стать третьим

итд...

[Deja_Vu 366]

  kvit сказал:

20% - большой показатель, особенно учитываю плотную группу в середине...

20% - достаточно из первого стать третьим

итд...

Обнаружение не значит защита ... опять же -))

Добавлено

Кстати, касперский достаточно много взял своей проактивной составляющей, Не так уж и много он ловил сигнатурно.

[p2u 824]

  Deja_Vu сказал:

Обнаружение не значит защита ... опять же -))

Кстати, у меня по этому поводу вопрос: были ли случаи, когда вы нажали 'Запретить', но не помогло?

Paul

[Deja_Vu 366]

  p2u сказал:

Кстати, у меня по этому поводу вопрос: были ли случаи, когда вы нажали 'Запретить', но не помогло?

Paul

Было много случаев, когда блокировалось что-то частично, но были и такие, когда "запретить" вообще не помогало.