Сравнительный анализ антивирусного ПО

[Александр Шабанов 120]

Для определения весов, все же необходимо знать взаимосвязи показателей

Верна ли следующая иерархическая связь?

Жду комментариев

[Valery Ledovskoy 1082]

Иерархия вроде бы правильная. Но это не значит, что нужно у всех компонентов (Общее обнаружение, Лечение активного заражения, Самозащита, Скорость реакции) ставить вес, равный 1. Например, скорости реакции я бы 1 не ставил, т.к. есть некоторое пересечение с Общим обнаружением. Идея такая, что без скорости реакции не будет хорошего Общего обнаружения. Я бы вообще Скорость реакции переместил под Общее обнаружение, а Общему обнаружению дал вес 2, остальным двум компонентам дал бы вес по 1.

Кроме того, в иерархии нет такого важного показателя, как нагрузка антивируса на систему. А ведь тесты такие проводились.

Возможно, я ещё какие-то из параметров, по которым можно судить о качестве антивирусов, упустил.

И всё же, когда тест будет проведён, и будут опубликованы результаты, предлагаю в описании написать несколько слов о том, что результаты интегрального теста могут не полностью отражать реальные возможности антивирусов, т.к.:

1. Идеальных тестов нет, даже приближаются к объективности только некоторые из них;

2. Результат интегрального теста отражает усреднённое мнение нескольких тестовых лабораторий и не отражают мнение всего пользовательского сообщества;

3. В интегральной оценке не учитываются те качества антивирусов, для которых не проводились (и даже не будут проводиться) тестирования, т.к. современный уровень тестирования антивирусов обладает ограниченными возможностями. Но такие важные, но непротестированные, качества антивирусов всё же есть;

4. Во всех учитываемых тестах не было проведено оценки погрешности результатов. Она может быть достаточно высока, поэтому ошибка интегральной оценки может быть ещё больше. Да, меня неоднократно критиковали за то, что я сам не могу посчитать эту погрешность, и это правда. Но погрешность таки от этого никуда не девается. vaber показывал на одном из недавних тестов (по-моему, это был тест проактивки), что погрешность может достигать нескольких десятков процентов. И если у отдельных тестов отдельных качеств антивирусов на это можно закрыть глаза, то такой интегральный тест - это намного более сильный результат. А ошибка при интегрировании может сложиться (и она обязательно сложится по закону бутерброда)

[Александр Шабанов 120]

Валерий, у вас хорошие мысли, попробую ответить пока на что смогу

  Valery Ledovskoy сказал:

Кроме того, в иерархии нет такого важного показателя, как нагрузка антивируса на систему. А ведь тесты такие проводились.

Возможно, я ещё какие-то из параметров, по которым можно судить о качестве антивирусов, упустил.

Первоначально я предполагал взять этот параметр, Клименти проводил тесты на скорость сканирования, но в конечном счете я отказался его использовать в основном анализе, так как он никаким образом не влияет на качество защиты пользователя. Я думаю взять этот показатель как дополнительный информационный, но не играющий роль в основном рейтинге.

  Valery Ledovskoy сказал:

И всё же, когда тест будет проведён, и будут опубликованы результаты, предлагаю в описании написать несколько слов о том, что результаты интегрального теста могут не полностью отражать реальные возможности антивирусов, т.к.:

1. Идеальных тестов нет, даже приближаются к объективности только некоторые из них

Безусловно, у нас есть над чем работать

  Valery Ledovskoy сказал:

2. Результат интегрального теста отражает усреднённое мнение нескольких тестовых лабораторий и не отражают мнение всего пользовательского сообщества;

Это Вы очень хорошо подметили, идея такого анализа именно выразить экспертное мнение, основанное на проведенных ранее тестах.

Пользователю необязательно стопроцентно доверять данному мнению, он может его расценивать лишь как дополнительный фактор к своему решению выбора, аналогию можно провести с автомобильными журналами где проводятся сравнения автомибилей одинакового класса. В идеале полученные значения экспертного рейтинга необходимо сопоставить с пользовательским рейтингом по тем же показателям, и я уверен вскоре появится такая возможность.

  Valery Ledovskoy сказал:

3. В интегральной оценке не учитываются те качества антивирусов, для которых не проводились (и даже не будут проводиться) тестирования, т.к. современный уровень тестирования антивирусов обладает ограниченными возможностями. Но такие важные, но непротестированные, качества антивирусов всё же есть;

Именно поэтому я считаю необходимым сделать классификацию всех показателей качества, которая покрывала бы весь функционал современных антивирусов. Это необходимо для того, что бы определить какие тесту уже есть, а какие необходимо провести для того чтобы получить полную картину о эффективности антивирусных систем.

  Valery Ledovskoy сказал:

4. Во всех учитываемых тестах не было проведено оценки погрешности результатов. Она может быть достаточно высока, поэтому ошибка интегральной оценки может быть ещё больше. Да, меня неоднократно критиковали за то, что я сам не могу посчитать эту погрешность, и это правда. Но погрешность таки от этого никуда не девается. vaber показывал на одном из недавних тестов (по-моему, это был тест проактивки), что погрешность может достигать нескольких десятков процентов. И если у отдельных тестов отдельных качеств антивирусов на это можно закрыть глаза, то такой интегральный тест - это намного более сильный результат. А ошибка при интегрировании может сложиться (и она обязательно сложится по закону бутерброда)

Согласен с Вами, но тенденции и относительный уровень различных производителей проследить будет возможно.

[Valery Ledovskoy 1082]

  Alexandr Shabanov сказал:

Первоначально я предполагал взять этот параметр, Клименти проводил тесты на скорость сканирования, но в конечном счете я отказался его использовать в основном анализе, так как он никаким образом не влияет на качество защиты пользователя. Я думаю взять этот показатель как дополнительный информационный, но не играющий роль в основном рейтинге.

На качество защиты данный фактор действительно не оказывает влияние. Но оказывает влияние на качество работы за компьютером. Вспомните шутки по поводу того, что антивирус тормозит так, что вирусы просто не могут запуститься. Мне кажется, что включить данный параметр, всё же, следует, хотя бы с коэффициентом 0,25. Ибо антивирус, который мешает работе пользователя в итоге либо сносится с компьютера, либо монитор постоянно ставится на паузу (что даже хуже, чем сменить антивирус). Может, у кого-то из обитателей АМ будут ещё мнения по поводу?

[A. 876]

  Valery Ledovskoy сказал:

На качество защиты данный фактор действительно не оказывает влияние. Но оказывает влияние на качество работы за компьютером. Вспомните шутки по поводу того, что антивирус тормозит так, что вирусы просто не могут запуститься. Мне кажется, что включить данный параметр, всё же, следует, хотя бы с коэффициентом 0,25. Ибо антивирус, который мешает работе пользователя в итоге либо сносится с компьютера, либо монитор постоянно ставится на паузу (что даже хуже, чем сменить антивирус). Может, у кого-то из обитателей АМ будут ещё мнения по поводу?

Для того чтобы сравнивать антивирусы по данному показателю - необходимо чтобы они хотя бы одни и те же файлы проверяли. А то знаем мы как некоторые летают - файлы при запуске не проверяя, то другие архивы не проверяют и так далее...

Так что, вспоминая шутки, уж пусть лучше вирусы не запускаются, чем пропускаются.

[Valery Ledovskoy 1082]

  A. сказал:

Для того чтобы сравнивать антивирусы по данному показателю - необходимо чтобы они хотя бы одни и те же файлы проверяли.

Так кто ж спорит-то, что на одинаковых файлах надо тестировать? Но тестирование-то на самом деле не сложное.

По поводу шуток я не имел в виду какой-либо конкретный антивирус. Пользователи и продуктов ЛК и продуктов "Доктор Веб", и даже продуктов ESET после выхода версии 3.0 довольно часто пишут на соответствующих форумах про то, что "антивирус тормозит невозможно". Чтобы показать таким пользователям, что не нужно без лишней надобности лазить по настройкам (особенно, когда не знаешь об их предназначении), а при оптимальных настройках всё работает как часы, как раз и нужен такой общий тест на загрузку систему. Конечно, при одинаковых настройках. В общем, показатель важный. Упускать его в интегральном тесте, считаю, нельзя.

[A. 876]

  Valery Ledovskoy сказал:

Так кто ж спорит-то, что на одинаковых файлах надо тестировать? Но тестирование-то на самом деле не сложное.

Так на одинаковых файлах и тестируют. А в итоге получается что у одного антивируса потрачено 30 секунд и проверено 300 обьектов, а у другого потрачено 10 секунд и проверено 5 обьектов. И второй начинает гордо кричать, что он самый-самый быстрый ...

[Valery Ledovskoy 1082]

  A. сказал:

А в итоге получается что у одного антивируса потрачено 30 секунд и проверено 300 обьектов, а у другого потрачено 10 секунд и проверено 5 обьектов.

Нет, такие тесты нам ни к чему.

[Сергей Ильин 1538]

  Alexandr Shabanov сказал:

Так как проактивка составляет совокупный вес с ложными срабатываниями, т.е. если нет фолсов получишь единицу в итоге за проактивку

Нельзя эти тесты мешать. То что Клименты делает какой-то левый подсчет фолсов и подсовывает к тесту на проактивку - это его личные проблемы. Нам не следует эту ошибку повторять.

Данные по скорости работы я бы не учитывал, так как это не является ИМХО характеристикой защиты. Скорость работы - побочная характеристика продукта, ею нельзя отразить атаки малвары :-)

[Сергей Ильин 1538]

Давайте будем двигаться в сторону выводов. В теме уже много высказано здравых мыслей, нужно подводить итоги.

Если с подсчетом баллов вроде бы все ясно. С пересчетом процентов/мест в баллы все просто, результаты у обоих методов от А. и Alexandr Shabanov примерно одинаковы.

А вот с коэффициентами сложнее.

Предлагаю утвердить основной принцип, что антивирусный продукт оценивается по следующим базовым равнозначных характеристикам:

1. Эффективность обнаружение известных вирусов

2. Эффективность проактивных технологий

3. Эффективность лечения угроз

4. Качество самозащиты

Общая сумма весов будет 4, т.е. по 1 баллу на каждую группу.

В группе веса распределяются равномерно по включённым в неё тестам.

[Valery Ledovskoy 1082]

  Сергей Ильин сказал:

Скорость работы - побочная характеристика продукта, ею нельзя отразить атаки малвары :-)

Тем не менее мы как бы пытаемся пользователю сказать, что в общем и целом этот продукт лучше того, то этот фактор нужно учитывать тоже.

Я бы ещё добавил качество русскоязычной техподдержки (если мы говорим о российском пользователе).

Т.к. есть несколько лидеров, которые по качеству защиты примерно одинаковы, то будет вполне логичным для пользователя выбрать тот продукт, что жрёт меньше системных ресурсов и имеет оперативную внятную техподдержку на языке, которым он владеет, пусть даже этот продукт на 3-5% "хуже" защищает систему, чем другой. Как считаете?

[Александр Шабанов 120]

  Valery Ledovskoy сказал:

Тем не менее мы как бы пытаемся пользователю сказать, что в общем и целом этот продукт лучше того, то этот фактор нужно учитывать тоже.

Да, этот показатель можно включить в материал, но он не должен иметь никакого веса, так как качественного теста с прозрачной методологией еще не было проведено. Я предлагаю следующие, то что и планировал сначала, необходимо включить это в материал как график, то есть показать корреляцию качества защиты и скорости сканирования, результаты теста Клименти для этого подойдут, и думаю для пользователя это тоже будет интересно, но только в качестве дополнения к основным выводам.

  Сергей Ильин сказал:

А вот с коэффициентами сложнее.

Предлагаю утвердить основной принцип, что антивирусный продукт оценивается по следующим базовым равнозначных характеристикам:

1. Эффективность обнаружение известных вирусов

2. Эффективность проактивных технологий

3. Эффективность лечения угроз

4. Качество самозащиты

Принципиально согласен, эвристику все же следует приравнять по весу.

Практически теперь предлагаю следующее:

1) Эффективность обнаружение известных вирусов - 1;

1а) Скорость реакции на новые угрозы - 0.25;

1б) Поддержка упаковщиков - 0.25;

2) Эффективность эвристического анализатора (см. замечания vaber-a ) - 1;

3) Ложные срабатывания - 0.25;

4) Эффективность лечение активного заражения - 1;

4а) Обнаружение и лечение руткитов - 0.5;

5) Качество самозащиты - 1

Итого в идеале максимальный вес 5.25

Сергей, Валерий ?

[Mr. Justice 771]

Ничего не понимаю. Возьмем к примеру антивирус А, который ловит 50% эвристикой, 20% сигнатурами, а остальные 30% - добавляет к очередному тесту Клименти, то есть раз в полгода, будет лучше антивруса Б, который ловит эвристикой 20%, сигнатурами - 40% (на конкретный момент) а остальные 40% добавляет в течении минимально возможного времени?

[Deja_Vu 366]

  Mr. Justice сказал:

Ничего не понимаю. Возьмем к примеру антивирус А, который ловит 50% эвристикой, 20% сигнатурами, а остальные 30% - добавляет к очередному тесту Клименти, то есть раз в полгода, будет лучше антивруса Б, который ловит эвристикой 20%, сигнатурами - 40% (на конкретный момент) а остальные 40% добавляет в течении минимально возможного времени?

А разве он в этот конкретный момент не лучше?

Тут другой момент, нужно бы добавить тест на лечение зараженных файлов.

[Александр Шабанов 120]

  Mr. Justice сказал:

Ничего не понимаю. Возьмем к примеру антивирус А, который ловит 50% эвристикой, 20% сигнатурами, а остальные 30% - добавляет к очередному тесту Клименти, то есть раз в полгода, будет лучше антивруса Б, который ловит эвристикой 20%, сигнатурами - 40% (на конкретный момент) а остальные 40% добавляет в течении минимально возможного времени?

Нет, если руководствоваться текущей бета-методологией, получаем следующие результаты:

1) Антивирус А

а) Эффективность обнаружение известных вирусов - 5 баллов

б) Эффективность эвристического анализатора - 2 балла

в) Скорость реакции - 0 баллов (более 16 часов)

Итого: 7 баллов

2) Антивирус Б

а) Эффективность обнаружение известных вирусов - 4 баллов

б) Эффективность эвристического анализатора - 2 балла

в) Скорость реакции - 2.5 балла (от 0 до 2 часов)

Итого: 8.5 баллов

В итоге антивирус Б является более эффективным по отношению к антивирусу А.

По-моему справедливо

[Mr. Justice 771]

  Deja_Vu сказал:

А разве он в этот конкретный момент не лучше?

Не понимаю, причем тут конкретный момент?

  Deja_Vu сказал:

Тут другой момент, нужно бы добавить тест на лечение зараженных файлов.

Это принимается во внимание.

  Alexandr Shabanov сказал:

Нет, если руководствоваться текущей бета-методологией, получаем следующие результаты:

1) Антивирус А

а) Эффективность обнаружение известных вирусов - 5 баллов

б) Эффективность эвристического анализатора - 2 балла

в) Скорость реакции - 0 баллов (более 16 часов)

Итого: 7 баллов

2) Антивирус Б

а) Эффективность обнаружение известных вирусов - 4 баллов

б) Эффективность эвристического анализатора - 2 балла

в) Скорость реакции - 2.5 балла (от 0 до 2 часов)

Итого: 8.5 баллов

В итоге антивирус Б является более эффективным по отношению к антивирусу А.

По-моему справедливо

По все видимости я не разобрался в методологии. Вы указывали выше, что максимальный балл -5,25, а у Вас в итоге получилось 7 и 8,5.

[Александр Шабанов 120]

  Mr. Justice сказал:

По все видимости я не разобрался в методологии. Вы указывали выше, что максимальный балл -5,25, а у Вас в итоге получилось 7 и 8,5.

Там указан максимальный вес, то есть, если у нас есть восемь показателей эффективности и за каждый максимум можно получить 10 баллов, то в сумме максимальное число баллов может быть с учетом веса разных показателей не 80, а 52.5

[Иван 290]

  Alexandr Shabanov сказал:

Да, этот показатель можно включить в материал, но он не должен иметь никакого веса, так как качественного теста с прозрачной методологией еще не было проведено. Я предлагаю следующие, то что и планировал сначала, необходимо включить это в материал как график, то есть показать корреляцию качества защиты и скорости сканирования, результаты теста Клименти для этого подойдут, и думаю для пользователя это тоже будет интересно, но только в качестве дополнения к основным выводам.

Принципиально согласен, эвристику все же следует приравнять по весу.

Практически теперь предлагаю следующее:

1) Эффективность обнаружение известных вирусов - 1;

1а) Скорость реакции на новые угрозы - 0.25;

1б) Поддержка упаковщиков - 0.25;

2) Эффективность эвристического анализатора (см. замечания vaber-a ) - 1;

3) Ложные срабатывания - 0.25;

4) Эффективность лечение активного заражения - 1;

4а) Обнаружение и лечение руткитов - 0.5;

5) Качество самозащиты - 1

Итого в идеале максимальный вес 5.25

Сергей, Валерий ?

а почему это за эвристик надо давать целый 1 бал, а за время реакции 0,25?

это бредовая идея - потому как эвристик с тем же успехом можно считать составлящей общего детекта, что и скорость реакции.

а у вас почему-то на эвристик вес 1, а за вермя реакции - 0,25

непонятно

[Александр Шабанов 120]

  Иван сказал:

а почему это за эвристик надо давать целый 1 бал, а за время реакции 0,25?

это бредовая идея - потому как эвристик с тем же успехом можно считать составлящей общего детекта, что и скорость реакции.

а у вас почему-то на эвристик вес 1, а за вермя реакции - 0,25

непонятно

Скорость реакции не влияет на детектирование на текущий момент, этот пораметр нельзя рассматривать на равне с основными функциональными показателями, что нельзя сказать о эвристике, который работает в любой мгновенный момент. Возможно я конечно не прав, Иван, у Вас есть другие предложения по весам показателей?

[Иван 290]

  Alexandr Shabanov сказал:

Скорость реакции не влияет на детектирование на текущий момент, этот пораметр нельзя рассматривать на равне с основными функциональными показателями, что нельзя сказать о эвристике, который работает в любой мгновенный момент. Возможно я конечно не прав, Иван, у Вас есть другие предложения по весам показателей?

скорость реакции оказывает такое же влияние на уровень детектирования в данный момент как и эвристик

если вендор добавляет быстро - значит из свежего задетектит много, если эвристик хороший - аналогично значит из свежего задетектит много

я не согласен с тем, что вес скорости добавления сигнатур в 4 раза меньше веса эвристика

а что Валерий на эту тему думает?

[Mr. Justice 771]

Полностью согласен, скорость реакции действительно очень важный фактор. Если его не учитывать в должной мере, то это исказит эффективность интегральной оценки антивирусных средств. Дело в том, что многие вендоры добавляют значительное количество сэмплов непосредственно перед тестом. Это негативно влияет на эффективность защиты в период между тестами, ибо скорость реакции в данном случае стремиться к минимуму. То есть создается впечатление. что антивирус неплохой (так как успешно проходит тест на общий детект), а на самом деле он не обеспечивает должный уровень защиты в реальной жизни.

Вопрос в том как оценивать скорость реакции. Серьезных тестов на это счет я не видел.

Все изложенное выше - мое личное мнение. Вполне возможно ошибочное.

Отредактировал Январь 31, 2008 Mr. Justice

[Valery Ledovskoy 1082]

  Иван сказал:

а что Валерий на эту тему думает?

Валерий думает по этому поводу следующее

Я говорил ранее, что от скорости реакции вендоров на новые вредоносы зависит на прямую общий уровень детекта в каждый момент времени. Вы, Иван, это подтвердили. И поэтому как раз я бы этому тесту поставил вес 0,25. Он очень важный, но он пересекается с тестами на общий уровень детекта. Т.е. мы этим тестом приносим мало новой информации в интегральный показатель. И если мы поставим тесту на скорость реакции 1, то значение общего уровня детекта автоматически искусственно завысится в итоговом показателе.

Почему бы тогда не сделать веса для тестов на общий уровень детекта и скорость реакции одинаковыми, но меньше 1, спросите вы?

Да потому что, как верно заметил Mr. Justice, качество таких тестов пока не на высоте относительно классических тестов на определение общего уровня детекта. Поэтому тесту на детект - 1, тесту на скорость реакции - 0,25.

P.S. Кстати, обязательно в результатах надо написать, что интегральный анализ в таком формате проводится впервые, и хотя были учтены мнения многих сторон, результаты могут оказаться не соответствующими действительности. И что если читатели результатов обнаружат серьёзные логические ошибки, то группа экспертов портала antimalware.ru учтёт их при обсуждении подготовки будущего такого теста.

[Олег777 85]

Появилась глупая мысль - сравнить и оценить 2( или более) антивируса на скорость и качество на очень трудной задаче - полная проверка компьютера с полностью установленной энциклопедией Британника 2003 (именно этой версией).

За одно - сравнить количество проверенных обьектов.

[Сергей Ильин 1538]

  Mr. Justice сказал:

Полностью согласен, скорость реакции действительно очень важный фактор. Если его не учитывать в должной мере, то это исказит эффективность интегральной оценки антивирусных средств. Дело в том, что многие вендоры добавляют значительное количество сэмплов непосредственно перед тестом.

  Valery Ledovskoy сказал:

Да потому что, как верно заметил Mr. Justice, качество таких тестов пока не на высоте относительно классических тестов на определение общего уровня детекта. Поэтому тесту на детект - 1, тесту на скорость реакции - 0,25.

Скорость реакции важна и она связана с общим детектом, но все таки это абсолютно другой показатель. На мой взгляд это больше относится к детектированию неизвестных угроз. Поэтому предлагаю переименовать "Эффективность эвристического анализатора" в "Эффективность защиты от новых угроз", куда включить скорость реакции с таким же баллом как тесты эвристики.

1) Эффективность обнаружение известных вирусов - 1;

1а) Поддержка упаковщиков - 0.25;

2) Эффективность защиты от новых угроз

2а) Эффективность эвристического анализатора - 0.5;

2б) Скорость реакции на новые угрозы - 0.5;

Смотрите сами, пользователю глубоко пофиг как его антивирус обнаружил вредоноса. Он включил комп, получил новую заразу по почте или браузер. Если вирлаб выпустил оперативно сигнатуру - он будет защищен, если вирлаб выпустил ранее "проактивную сигнатуру" (докрутил эвристик) - он также будет защищен. С точки зрения клиента нет никакой разницы.

[Valery Ledovskoy 1082]

  Сергей Ильин сказал:

Поэтому предлагаю переименовать "Эффективность эвристического анализатора" в "Эффективность защиты от новых угроз", куда включить скорость реакции с таким же баллом как тесты эвристики.

Да, такая идея уже лучше смотрится.