Тест антивирусов на качество защиты (ComputerShopper)

[Сергей Ильин 1538]

Нашел очень интересный тест антивирусов, который был совсем недавно опубликован в журнале ComputerShopper. Результаты теста наглядно демонстрируют как обстоят дела у вендоров со скоростью реакции (работа проактивных технологий учитывается)

Суть теста такова:

1. Автор брал свежие семплы (ссылки на них) от компании MassageLabs, огромный трафик которой позволяет обнаруживать вредоносные программы в виде атачмента почте, а также ссылки на них.

2. Полученные семплы (всего 251 образца полученные по email и 184 полученные через web ) проходили проверку.

3. Отдавались каждому тестируемому антивирусу, установленному на вируальную машину под Windows XP. При этом email-вирусы отправлялись на тестовую машину по одному на каждое письмо, а web-вирусы предлагалось открыть, кликнув по ссылке.

В итоге автор моделировал реальные условия распространения угроз, как если бы с ней столкнулся клиент, получив зараженное письмо или ссылку на вредоносную программу.

Естественно эвристики работали тоже, базы были свежие. По сути дела проверялась степень защищенности клиента перед совсем новыми угрозами (как сейчас стали говорить Zero Hour).

Результаты получились поразительные: лучшие продукты едва перешли черту в 70% (суммарно email + web). См. рисунок ниже.

Что думаете по поводу этого теста?

[Иван 290]

Мне думается это правильный подход к тестированию ребята из MessageLabs предложили.

Вот возьмем тесты AV-Comparatives.org (Клименти) или AV-Test.org (Маркс). Они хороши огромным размером коллекции, что сводит к минимуму вероятность случайного перкоса в сторону одного из антивирусных вендоров. Еще они хороши тем, что в них каждая из категорий зловредов (троянцы, вирусы и прочие) представлены внушительно, что позволяет понять насколько хороши антивирусы в борьбе с каждой из категорий этих зловредов.

Чем плохи эти тесты:

- источники и методы составления коллекций непонятны и неизвестны

- коллекции "устоявшиеся", т.е. по большей части состоят из давно известных старых зловредов, именно поэтому лидеры тестов так близки к друг другу. Старые то вирусы хорошие антивирусы ловят прилично, но никак не учитывается скорость реакции на новые.

- метод проведения теста (простое сканирование диска с коллекцией зловредов) не имеет ничего общего с обычным поведением пользователя

А вот ребята из MessageLabs вместе с журналом Computer Shopper предложили совсем другой тест, методика которого устраняет ряд недостатков, описанных выше. ТОлько вот Сергей Ильин очень как-то невнимательно прочел и епервел описание теста. В результате приплел к делу проактивку (поведенческий блокиратор), которая тут вообще непричем - вирье-то не запускалось, а просто скачивалось и приходило по почте.

И так что же реально присходило:

Компания MessageLabs предоставляет сервисы по фильтрации трафика, трафик клиентов просто перенаправляется на сервера MessageLabs там проверяется на вирусы и прочее, а затем отдается клиенту. Проверяется трафик несколькими антивирусными движками + собственный потоковый эвристик MessageLabs по прозвищу Скептик, который способен массовые рассылки зловредов отслеживать.

В итоге:

1.MessageLabs огромное кол-во клиентов по всему миру, поток проходящий через них тоже неслабый, те зловреды, которые они находят - это реально наиболее распространеные в данный отчетный период - т.е. вопрос откуда дровишки (коллекция зловредов) отчасти снимается. Зловредов хоть и немного, но зато они реально гуляющие по миру.

2.Зловреды взяты относительно новые, как написано пойманные за две недели до проведения теста. Т.е вопрос старости коллекции зловредов тоже отчасти снят.

3. Сам метод проведения теста. Как я уже сказал, тут Ильин немного напутал, но методика все равно ближе к реальному поведению пользователя, чем простое сканирование диска, предлагаемое нам Клименти и Марксом. Итак как прводился тест:

a. Все антиврусы оставались с настройками по умолчанию.

б. Зловреды приаттачивались к письмам по одному к каждому письму, после чего письма скачивались на комп посредством аутлука експреса. Отслеживалось на какие письма среагировал антивирус, а на какие нет. Так проходли Email тест. НИкакого запуска зловредов, о котором писал Ильин не было, по крайней мере в методологии теста об этом ни гу гу.

в.Теперь Web тест. Здовреды помещались на веб-серваке, после чего скачивались автоматической системой на тестовый комп - имитировалось скачивание пользователем (но опять же никакого запуска зловредов на компе не было). Ну и смотрелось сколько удалось отловить антивирусам либо на лету (вебантивирусом у кого он есть), либо при сохранении на диске (файловым антивирусом - монитором попросту)

А дальше был совершен на мой взгляд совсем лишний шаг: скаченные зловреды, которые не были отловлены в процессе скачивания, были дополнительно поверены сканером по требованию, и итоговые результаты по Web учитывают эту проверку.

C одной стороны это дополнительное сканирование конечно имитирует поведение наиболее осторожных пользователей, которые скаченные файлы перед запуском дополнительно на вирусы проверяют...но так ведь поступают далеко не все. Так что мне кажется, что без этой дополнительной проверки было бы честнее.

Вот такой вот тест. Осталось заметить, что антивирусы в которых нет поведенческих блокираторов (модуль проактивной защиты в терминах касперского) в рамках этого теста все свои возможности исчерпали: если пользователь следующим шагом запустит зловреда - антивирь его уже не спасет, если бы мог спасти - отреагировал бы на этапе скачивания. У тех у кого есть поведенческие блокираторы (Касперский и Панда в частности) еще есть шанс реабилитироваться и заблокировать заразу при запуске, когда и вступает в действие поведенческий блокиратор. Кстати запуск пропущенных зловредов - это логичное продолжение для рассмотренного теста.

А итог теста как уже на писал Ильин показывает, что на самом деле никакими 97-99% детектами даже у лучших антивирусов в реальной жизни и не пахнет, если уж даже в такой модели реальности как этот тест они максимум что выбивают - это 80-90%, а веб тесте и того хуже.

Ну и напоследок скажу, что Steganos - это по сути ребрендинг Касперского, войдете в его интерфейс увидите родной зонтик. ПОчему поймал он чуть меньше? Настройки по умолчанию небось другие, да и версию ребрендили небось не самую последнюю.

Неплохо выглядит НОД32, порадовал Grisift AVG - по крайней мере на относительно новых зловредах они неплохо выглядят. Ну а большая тройка мировых производителей: Symantec, McAfee, Trend Micro в глубокой попе: а все от того, что ни эвристика у них, ни скорости реакции. Остается тока и радоваться тому, что Symantec хорошо активное заражение лечит

[Илья Рабинович 521]

Первый нормальный тест, приближенный к боевой реальности, а то тесты на древних палёных зловредах с эффективностью антивирей порядка 99% уже задолбали. Какие 99%? 60-70 в лучшем случае! Да и то- это сегодня, завтра всё будет ещё хуже, 50% и ниже... HIPS рулят, кто ещё не понял!

[Storm 0]

HIPS рулят

Рулят прежде всего прямые руки и ИДА. :wink:

кто ещё не понял!

Смотря какой ХИПС, Вы же сами знаете что их много.

[Сергей Ильин 1538]

Иван, прав, я выше выдал желаемое за действительное. Файлы не запускались к большему сожалению, а зря ... ценность теста этим снизилась, так как проактивные технологии (кроме эвристика) были не задействованы.

[Иван 290]

но и не смотря на это тест достаточно адекватный

[_Stout 131]

Иван, прав, я выше выдал желаемое за действительное. Файлы не запускались к большему сожалению, а зря ... ценность теста этим снизилась, так как проактивные технологии (кроме эвристика) были не задействованы.

Готов выступить источником заразы для проведения подобного теста силами Anti-malware.

[Иван 290]

а вот это не очень идейка, зачем же тестировать на самплах, которые стали известны ЛКраньше других благодаря сервису хостедсекьюрити?

Лучше с месседжлабзами договориться, чтобы они дали самплы отловленные их скептиком до того, как были задетекчены кем-либо еще - это будет по- честному.

[Илья Рабинович 521]

Рулят прежде всего прямые руки и ИДА.

1. Любым прямым рукам нужны инструменты. ИДА- инструмент универсальный, но а)дорогой (хотя кого в России это останавливало?) б)достаточно сложный (ибо универсальные инструменты простыми не бывают в принципе) в)не в рантайм.

2. Вот бы интересно посмотреть на домохозяйку, которая умеет обращаться с ИДА и имеет прямые руки

Смотря какой ХИПС, Вы же сами знаете что их много.

Базовых типов не так уж и много- classical, expert и sandbox. Каждый- на свою аудиторию.

[Storm 0]

а)дорогой

Не такой уж и дорогой.

б)достаточно сложный

Тот, кто его самостоятельно выбрал - вряд ли посчитает ИДУ сложной

Вот бы интересно посмотреть на домохозяйку, которая умеет обращаться с ИДА и имеет прямые руки

ХИПСы в любом случае ИМХО не рулят, что классические, что песочницы.

Одни требуют вмешательства юзера, другие грамотной настройки.

[_Stout 131]

а вот это не очень идейка, зачем же тестировать на самплах, которые стали известны ЛКраньше других благодаря сервису хостедсекьюрити?

Лучше с месседжлабзами договориться, чтобы они дали самплы отловленные их скептиком до того, как были задетекчены кем-либо еще - это будет по- честному.

Мое дело предложить. Полагаю, что с MessageLabs сложно будет договориться.

[Илья Рабинович 521]

Не такой уж и дорогой.

Ну это кому как. 288 евро для меня лично- дорого.

ХИПСы в любом случае ИМХО не рулят, что классические, что песочницы.

Одни требуют вмешательства юзера, другие грамотной настройки.

Песочница- настройки?! :shock: Добавляешь в неё всё, что надо- и живёшь спокойно. Там настройки на стандартных приложениях - ноль целых ноль десятых.

[Storm 0]

Песочница- настройки?!

Это у Вас в программе настроек нет, а мне например нет смысла запрещать firefox работать с файловой системой. Гибкости в настройках нет, отсюда и проблемы.

ЗЫ А можно это обсуждение выделить в топик "Обсуждение ХИПСОВ"?

[Илья Рабинович 521]

Это у Вас в программе настроек нет, а мне например нет смысла запрещать firefox работать с файловой системой. Гибкости в настройках нет, отсюда и проблемы.

Проблем нет- всё решается оперативно в порядке поступления. А гибкость настроек- кому они реально нужны? Домохозяйка сможет воспользоваться этим эффективно воспользоваться? Гибкость нужна людям, которым HIPS на модели песочницы нафиг не нужны- так называемым "экспертам" (так называемым- это не обидеть, просто калька с "security expert user"). Им больше подходит классика в режиме "блокировать".

[Inkogn 0]

...Здовреды помещались на веб-серваке, после чего скачивались автоматической системой на тестовый комп ...скаченные зловреды, которые не были отловлены в процессе скачивания, были дополнительно поверены сканером по требованию, и итоговые результаты по Web учитывают эту проверку.

Вот она,защита от новых.Больше половины из последних двухнедельных были не в базах.Скорость реакции на малость из них не очень подтягивает процент остального.Насколько бы спасло этот тест запуск этих зловредов немало зависит и от установок по умолчанию.И по тому,что вообще включено.Может,и места бы поменялись очень.Но видно,что против новых (которые ещё не в пределах двух часов,а двух недель) от сигнатуры пользы меньше 50%.

[Сергей Ильин 1538]

_Stout, спасибо за предложение, подобный тест будет интересно провести в любом случае, на счет источника семплов подумаем.

[Dexter 20]

Результаты получились поразительные

На параллельном форуме в течении уже пары лет можно наблюдать детект ниже, чем в данном тесте.