Тест самозащиты антивирусов II (результаты)

[Сергей Ильин 1538]

Уважаемые коллеги!

Предлагаю вашему вниманию результаты второго по счету теста самозащиты антивирусных продуктов.

http://www.anti-malware.ru/self_protection_2009

Краткие результаты тестирования:

Platinum Self-Protection Award

Dr.Web Security Space 5.0 (100%)

Gold Self-Protection Award

Outpost Security Suite Pro 2009 (96%)

Kaspersky Internet Security 2009 (93%)

Norton Internet Security 2009 (89%)

Avast! 4 Professional Edition 4.8 (87%)

VBA32 Personal 3.12 (80%)

Silver Self-Protection Award

ZoneAlarm Security Suite 8.0 (78%)

Panda Internet Security 2009 (62%)

Bronze Self-Protection Award

F-Secure Internet Security 2009 (58%)

McAfee Internet Security 2009 (55%)

Microsoft Windows Live OneCare 2.5 (54%)

Trend Micro Internet Security 2009 (51%)

Avira Premium Security Suite 8.1 (50%)

ESET Smart Security 3.0 (49%)

BitDefender Internet Security 2009 (49%)

Тест провален

Sophos Anti-Virus 7.6 (33%)

Прогресс многих вендоров более чем очевиден, это заметно по большему количеству высоких наград. Да, впервые в истории у нас вручена награда Platinum Self-Protection Award! Прогресс победителя впечатляет.

Методология тестирования

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов. Это позволяет проводить параллели между настоящим и прошлым тестом, что мы и с делали.

Рисунок 1: Динамика изменения уровня самозащиты антивирусных программ

*************************

Подробнее читайте http://www.anti-malware.ru/self_protection_2009

Как обычно ознакомиться с полным отчетом о тестировании можно в формате Excel и PDF

Жду ваших комментариев

[dr_dizel 385]

Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

[Сергей Ильин 1538]

Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

Вполне возможно, может даже и других тоже самое с драйверами делается. Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

[dot_sent 140]

Замечание по тексту...

Динамика результатов теста позывает, что наибольшая работа по улучшению этого компонента защиты была проделана компаниями «Доктор Веб», Agnitum (Outpost), Avast, Symantec, «ВирусБлокАда» и Check Point (ZoneAlarm) – отличная работа!

Откуда тут взялся Agnitum (Outpost), если

Стоит отметить, что молодой продукт компании Agnitum - Outpost Security Suite Pro, ранее не участвующий в подобных тестах у нас, сразу же отлично показал себя

?

"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

UPD: Да, и ещё:

...

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов.

...

Не из-за этих ли добавленных тестов получилось так, что

Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

?

Может быть, дело просто в математике - то есть, де факто самозащита осталась на том же уровне, что и была, но из-за увеличения количества тестов снизился процент их прохождения?

Весьма спорный момент, в общем.

[Сергей Ильин 1538]

"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

Поясню немного. Дело в том, что в первых версиях OSS самозащита была не такая сильная, как сейчас. Разработчики Agnitum докручивали этот функционал долго и упорно. Возможно, первый тест их от части промотивировал на это. Если что меня Виталий Янко поправит.

Не из-за этих ли добавленных тестов получилось так, что

Нет, это не так. Если сравните методологии 1-го и 2-го теста, то там добавилось ровно 5 методов в части защиты процессов (группа SendMessage API). КИС 8 просел по причине того, что получил минусы в File Permission Modification и Permission Modification of Registry Keys. В КИС 7 там было 1.5 балла (+ и +/-). Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

[Илья Рабинович 521]

Кстати, не совсем понятно, при чём тут task manager. Если сам пользователь хочет убрать процесс, то зачем ему мешать?

Ну и Kernel leve: если зловред прошёл на уровень ring0, то все эти ZwTerminateProcess/ZwTerminateThread- фигов листок. Я могу, например, убрать все нужные треды из системного шедулера- и всё, хана защите.

[dr_dizel 385]

Ну и Kernel leve: если зловред прошёл на уровень ring0...

Задача была бы нереализуемой в рамках модели.

Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Почему в отчёте все цифры проставлены руками?

Мне лень пересчитывать, но есть явные ляпы:

[Олег Гудилин 95]

Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

Поскольку Вы в данном тесте брали другой набор килл-утилит, не такой как в 2007 году, то сравнение я всёж считаю в приципе некорректно.

Доктор Веб поздравляю, релиз вышел с учётом существующих на момент выхода методов киляния.

[Сергей Ильин 1538]

dr_dizel, спасибо, поправил ошибочку.

[Mr.Belyash 70]

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

Не понятно...Так кто ошибся?

Те кто производил тест или те "которые антивирус"?

Защита своих ключей реестра:

модификация/удаление значимых ключей реестра (вручную):

ключи автозапуска;

ключи сервисов;

ключи конфигурации.

А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

[Александр Шабанов 120]

Те кто производил тест или те "которые антивирус"?

Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Призываю Вас перейти в более конструктивное русло, то есть к более конкретному представлению, ирония, как мне кажется, здесь не очень уместна.

Если Вы знаете как и что выноситься, подробно опишите суть, не надо бросаться громкими провокационными фразами.

[Mr.Belyash 70]

Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок

P.S.

Призываю вас дать конкретный ответ...Ведь тестирование завершено и результаты получены

[Сергей Ильин 1538]

А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Хочется услышать конкретный ответ без туманных формулировок wink.gif

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает?

[Александр Шабанов 120]

ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок

Вы о чем вообще? Откуда мне известно как работают в отделе QA в Лаборатории Касперского.

[Mr.Belyash 70]

Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает?

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

Шаги проведения тестирования:

1.Установка антивирусной программы на чистую машину;

2.Перезагрузка системы;

3.Проверка успешной установки и работоспособности всех модулей программы;

На будущее-наверное 4 пункт должен быть обновление антивируса (или вам дают с самыми свежими модулями и базами?Насколько я знаю-не у всех антивирусов дистрибудтивы пересобираются раз в пол часа ).

Или обновление подразумевается?

[Олег Гудилин 95]

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает?

Серьёзно?

[Сергей Ильин 1538]

При установке антивирусов использовались рекомендуемые производителем настройки по умолчанию и производились все рекомендуемые программой действия (перезагрузка системы, обновление и т.д.). Все компоненты защиты активировались, если это не было предусмотрено после установки автоматически.

Методология

[Сергей Ильин 1538]

Серьёзно?smile.gif

Конечно же нет. Какой вопрос, такой и ответ

[Mr.Belyash 70]

Конечно же нет. Какой вопрос, такой и ответ

Какой тест-такой и вопрос....

Ждем тест на скорость запуска Paint

[bse 115]

Спасибо порталу за новый тест. Поздравляю победителя и призеров.

Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

[sergey ulasen 200]

Спасибо за тест!

Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

[vaber 350]

Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

А зачем? Что это покажет?

[sww 486]

А зачем? Что это покажет?

Видимо это покажет то, что они научились в отдельном потоке отслеживать свои перехваты и восстанавливать. Гипермозги!!!

[Андрей-001 1099]

Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Очень интересный и познавательный тест.

А вендорам продуктов класса Security, получившим серебро и бронзу стоит задуматься о способах защиты своих "агентов безопасности".

Что толку от защиты, чья гвардия не стоит на ногах.

[Александр Шабанов 120]

Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

Зачем переспрашивать одно и тоже по несколько раз? Тестирование, как часть процесса разработки, не может найти всех проблем, на это влияют сроки проекта, качество организации процессов тестирования, квалификация тест-дизайнеров и т.д., это нормальная ситуация. По результатам теста очевидно, что к ЛК это относится в меньшей степени чем к большинству других вендоров. Контроль качества не может допустить ошибку, он может ее найти и сделать так, чтобы ее исправили. Очень даже вероятно, что в отделах тестирования вендоров знают об этих проблемах, но разработка со своей стороны (или руководство) не посчитала нужным это поправить и поставила низкий приоритет.

Для тестов нашего портала функция контроля качества продуктов защиты носит второстепенный характер, акцент делается на сравнительные характеристики, то есть создание дополнительных критериев выбора и их количественная оценка.