Сравнительный анализ антивирусного ПО

[Valery Ledovskoy 1082]

А Dr.Web ниразу не попал в TOP-5 (а в большинстве случаев и в TOP-10). Странно?

Несовершенство методики, несовершенство выбора критериев, несовершенство тестов, которые были выбраны для подсчётов. Не более.

100%-но объективных тестов... если есть, то не много. Когда же мы начинаем "интегрировать", влияние этих несовершенств на порядок увеличивается. Вот и размышляю сейчас, как добиться объективности. Ибо не могу сказать, что 100% доверяю тестам VB (это само собой), тестам Клементи, тестам Маркса, а менее известным тестам вообще доверия меньше, т.к. там могли использоваться методологии типа изначальной методологии Ивана для этого "интегрального" теста, которая может дать +/- 50% к результату в зависимости от погоды на Марсе.

Объективно Dr.Web в 5-ку по-любому должен попадать, ибо ничем не хуже того же НОДа, который не может справиться с активными вирусами почти никак. Что он делает на первых местах, если не может с руткитами ничего сделать практически? Вот смотрю IT спец за ноябрь со статьёй vaber'а "Анализ антируткит-эффективности современных антивирусов" и вижу, что НОД взял только 2 руткита из 8. В купе с 4-6 часами реакции на новые образцы это получается, что пользователям такого продукта на компьютер с большой вероятностью пролезает очередной новый руткит, потому что "руткитовость" - это "норма жизни" вирусов на данный момент, по словам из той же статьи vaber'a (кстати, рекомендую прочитать - статья толковая). А НОД с этим руткитом потом сделать ничего не может. И чем этому пользователю поможет то, что НОД входит в 5-ку и у него один из лучших детектов? Значит, что-то делаем, всё-таки, не так.

Поэтому и захотелось отвлечься от субъективности и как-то двигаться в сторону объективности. У Вас, Dr.Golova, есть мысли по поводу того, как этого добиться?

[Сергей Ильин 1538]

Идея интегрированного сравнительный анализа антивирусов по результатам различных тестов жива! Иван порадовал нас очередной публикацией на эту тему

http://www.computerra.ru/gid/344637/

[Lemmit 31]

Иван молодец! Доходчивый русский язык. Все по полочкам, IMHO.

Заметил веселую очепятку: "Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения - это команда российского портала Anti-Malware.ru".

[Александр Шабанов 120]

Иван молодец! Доходчивый русский язык. Все по полочкам

Согласен, хорошая статья получилась. Чувствуется перо гуру :wink:

[DWState 30]

Мде,..хорошо, очень, теперь только протокнуть бы это все глубоко в массы и до глубокого сознания людей. Спасибо Иван.

[Lemmit 31]

Правда, когда читаю "интегрированная оценка - какое место в среднем по всем тестам занимает тот или иной продукт" снова вспоминается "средняя температура по больнице - 36,6" :wink:

[Valery Ledovskoy 1082]

Идея интегрированного сравнительный анализа антивирусов по результатам различных тестов жива!

Ничего живого не вижу. Один к одному передрано с того, что было опубликовано и ранее, с точностью до опечатки. С теми же серьёзными недостатками. Принципиально так интегрировать нельзя. Доказывал уже ранее.

Заметил веселую очепятку: "Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения - это команда российского портала Anti-Malware.ru".

Да-да, после предыдущей публикации анализа я её упоминал.

Мде,..хорошо, очень, теперь только протокнуть бы это все глубоко в массы и до глубокого сознания людей.

Никогда в жизни. Вы читали мои доводы против таких тестов выше по топику?

Правда, когда читаю "интегрированная оценка - какое место в среднем по всем тестам занимает тот или иной продукт" снова вспоминается "средняя температура по больнице - 36,6" Wink

+1.

[A. 876]

+1 к Валерию.

"Если результаты разных тестировщиков отличаются на порядок, то это астрология какая то, а не научный подход."

из комментов на секлабе

[Valery Ledovskoy 1082]

При этом пользователи зачастую не понимают, что конкретно и каким образом проверялось в данном тесте.

Они этого не понимают и после просмотра результатов этого "анализа". И уж никогда в жизни не вникнут в недостатки его методологии. Таким образом, можно сказать, что данная статья ведёт пользователя по ложному следу.

Цель данной статьи - "разоблачить" тесты различных исследовательских лабораторий

Разоблачают обычно шпионов или других преступников. А тут мы слепо доверяем всем тестам из выбранного набора.

[Иван 290]

Идея интегрированного сравнительный анализа антивирусов по результатам различных тестов жива! Иван порадовал нас очередной публикацией на эту тему

http://www.computerra.ru/gid/344637/

никого я не радовал, попросили статью - я дал

а вот остальные участники дискуссии выше долго рассказывали мне ранее в чем я не прав и как надо, предлагали как надо сделать и нехрена до сих пор не сделали

подождем еще

[Valery Ledovskoy 1082]

Иван, это не анализ - выбрать всю доступную кучу тестов, сложить результаты и разделить на количество.

Проведите подобный анализ на последних различных тестах antimalware.ru, которые делались разными людьми, и Вы получите совершенно другой результат "интегрального теста", причём методология останется той же, а результат будет другой.

Ваша методика неустойчива к входящему набору тестов.

А поэтому неверна.

Если было бы всё так просто, и результаты такого анализа отражали бы что-то реальное, то подобную методику давно бы использовали все ведущие компьютерные печатные издания.

предлагали как надо сделать и нехрена до сих пор не сделали Very Happy

Я пытался (честно) выудить из Вашей идеи что-то полезное, даже предложил сделать автоматический подбор антивируса. Но после длительных размышлений на этот счёт пришёл к выводу, что идея всё же дохлая, а не живая.

Это всё равно что Вы говорите, что крупные раки лучше мелких, потому что так решило большинство печатных изданий для гурманов. А я, как потребитель раков, могу сказать, что лучше те раки, которые правильно приготовлены, на основе собственных интегральных многолетних исследований, на основе пробы раков на вкус, приготовленных разными людьми. А третий человек может считать, что лучше те раки, которые водятся в реке, которая в паре километров от его дома.

Вы же пытаетесь доказать, что Ваша интегральная точка зрения является единственно правильной. Ну, или с небольшой погрешностью правильной. Это совершенно не так. И Вы пытаетесь эту точку зрения навязать пользователю, сказать, что она основана на всех известных тестированиях. Но если Ваши рассуждения даже основаны на "правильных" тестах (предположим), то это не значит, что Вы используете правильную методику и получите правильные результаты.

Возможно, что не существует на данный момент такой методики, которая хорошо интегрирует результаты тестов антивирусов. И вряд ли такая методика когда-нибудь появится. Но это совсем не значит, что нужно такой анализ делать бездумно и безответственно, без обоснования выбранной методики, без проверки устойчивости и достоверности полученных результатов.

[Иван 290]

Валерий, я с Вами уже давно не спорю, еще с прошлого захода. И не наставиваю на своей правоте. Вы с кем спорите то?

Я просто хочу напомнить Вам это http://www.antimalware.ru/phpbb/viewtopic....30bfcc3a4#27698

я уже не спорю с Вами, я лишь говорю что не вижу развития Ваших идей изложенных по ссылке

[Valery Ledovskoy 1082]

Пользователю компьютера в настоящее время весьма сложно сделать выбор антивируса для своего компьютера. Компьютерные издания пестрят разнообразными тестами, суть которых малопонятна и повторить которые среднему пользователю не под силу. Поэтому в последнее время совершаются попытки влиять на выбор пользователя с помощью так называемого интегрального анализа всех доступных тестов.

В данной статье автор решил проверить, каким образом работает одна из методологий, предложенная для таких интегральных оценок антивируса одним из постоянных авторов популярного портала http://anti-malware.ru , посвящённого информационной безопасности Ивана Стогова. Суть данной методологии изложена в следущей статье:

http://www.pcmag.ru/library/sub_detail.php?ID=11171

В указанной статье делался анализ тестов зарубежных исследователей антивирусов, проверить или спросить которых российский средний пользователь не может, хотя бы из-за незнания иностранных языков. Поэтому для анализа был взят альтернативный набор тестов, который проводили авторы портала antmalware.ru в последние месяцы. Все вопросы по данным тестам можно адресовать их непосредственным авторам, поэтому к данным тестам у российского пользователя больше доверия, нежели к импортным их аналогам, которые характеризуются непрозрачностью и изъянами методологии, невозможностью повторить результаты, недоступностью авторов для общения. Автор обращает внимание, что данные тесты проводились разными людьми, точки зрения которых на процесс тестирования может не совпадать, к тому же портал http://anti-malware.ru ценится своей непредвзятостью к оценке продуктов. Т.к. исследуются только антивирусы, то в расчётах не учитываются показатели антируткитов. Для тех продуктов, которые участвовали в тестах, но данная функциональность не заявлена вендором, результаты не учитывались.

Для интегральной оценки были взяты 5 последних тестов, результаты которых были озвучены порталом http://anti-malware.ru :

1. Тест антивирусов и антируткитов на обнаружение и удаление современных руткитов

2. Тест проактивной антивирусной защиты

3. Тест антивирусов на лечение активного заражения

4. Тест самозащиты антивирусов

5. Тест антивирусов на поддержку упаковщиков

Ранжируем антивирусы по местам, занятым в этих тестах.

1. Тест антивирусов и антируткитов на обнаружение и удаление современных руткитов (детект концептов не учитывается)

Dr.Web - 1

Ksapersky - 2

Symantec - 3

BitDefender - 4

McAfee - 5

F-Secure - 6

NOD32 - 6

Trend Micro - 6

Avira - нет

Sophos - нет

Avast - нет

VBA32 - нет

AVG - нет

Panda - нет

2. Тест проактивной антивирусной защиты

Avira - 1

BitDefender - 2

NOD 32 - 3

Dr.Web - 4

Sophos - 5

Avast - 6

VBA32 - 7

Kaspersky - 8

McAfee - 9

Symantec - 10

AVG - 11

F-Secure - 12

Trend Micro - 13

Panda - 14

3. Тест антивирусов на лечение активного заражения

Dr.Web - 1

Kaspersky - 2

Symantec - 3

Panda - 4

Avast - 5

AVG - 6

McAfee - 7

TrendMicro - 7

Avira - 8

F-Secure - 9

NOD32 - 9

Sophos - 9

BitDefender - 10

VBA32 - 10

4. Тест самозащиты антивирусов (провалившихся в данном тесте не учитываем, т.к. у этих продуктов самозащита не рекламируется и не реализована должным образом, т.е. тестировать особо нечего)

Kaspersky - 1

VBA32 - 2

Symantec - 3

F-Secure - 4

Panda - 5

McAfee - 6

NOD32 - 7

Trend Micro - 8

Dr.Web - нет

BitDefender - нет

Avira - нет

Sophos - нет

Avast - нет

AVG - нет

5. Тест антивирусов на поддержку упаковщиков

Kaspersky - 1

BitDefender - 2

Dr.Web - 3

NOD32 - 4

McAfee - 5

Avira - 5

AVG - 5

Symantec - 6

Sophos - 6

Avast - 6

VBA32 - 6

Panda - 6

Trend Micro - 6

И, наконец, интегральная оценка.

Вверху - лучший по всем тестам антивирус, внизу - худший.

Как и в указанном выше анализе Ивана Стогова, для каждого антивируса складываем результаты по всем тестам и делим на количество тестов.

Dr.Web - 2,25

Kaspersky - 2,8

BitDefender - 4,5

Avira - 4,67

Symantec - 5

Avast - 5, 67

NOD32 - 5,8

VBA32 - 6,25

F-Secure - 6,4

McAfee - 6,4

Sophos - 6,67

Panda - 7,25

AVG - 7,34

Trend Micro - 8,2

[Valery Ledovskoy 1082]

Валерий, я с Вами уже давно не спорю, еще с прошлого захода. И не наставиваю на своей правоте.

Т.е. Вы заявляете, что были неправы? Тогда зачем тиражировать статью?

я лишь говорю что не вижу развития Ваших идей изложенных по ссылке

Тогда идея мне показалась интересной. Действительно, было бы здорово ту задумку реализовать. И доказать теорему Ферма. И решить задачу о квадратуре круга. Но увы, я углубился в расчёты, и понял, что результаты получаются слишком субъективные, очень неточные. Т.е. непригодные для использования их неподготовленными потенциальными пользователиями антивирусов.

Вы с кем спорите то?

Я спорю с Вами как с автором анализа, который основан на дырявой методике и как человека, продолжающего распространять результаты своего анализа среди пользователей через СМИ.

http://www.anti-malware.ru/phpbb/viewtopic.php?t=4082

[A. 876]

Валерий, вы у DrWeb оценку на 4 делили или на 5 ?

[Valery Ledovskoy 1082]

Валерий, вы у DrWeb оценку на 4 делили или на 5 ? Smile

На 4, конечно. По Dr.Web один из результатов не брался, т.к. самозащиты нет.

[Mr. Justice 771]

Я вам еще раз повторяю игнорирование концептов в первом тесте - глупое выхолащивание результатов теста. Защита не может быть половинчатой!

На 4? Вы слишком много себе позволяете. Если у Dr.Web нет номарльной самозащиты то это ЕГО проблемы, тут балы надо вычитать а не прибавлять.

Ваша предвзятость и неприкрытое манипулирование результатами тестов видны невооруженным взглядом и понятны даже ребенку. Чего не скажешь о работе Ивана. Хотя и с его методикой можно поспорить

[A. 876]

Валерий, вы у DrWeb оценку на 4 делили или на 5 ? Smile

На 4, конечно. По Dr.Web один из результатов не брался, т.к. самозащиты нет.

Если у антивируса нет самозащиты - первое место в тесте на лечение активного заражения - фикция.

Если у антивируса нет самозащиты - это слабость и за это надо вычитать баллы. Либо мы сравниваем все антивирусы по единому набору тестовпараметровкритериев - либо тех у кого хоть чего-то нет - выкидываем напрочь. Защита не должна быть частичной.

Далее - я не согласен с оценками-градациями. Почему в одном месте у антивирусов занявших последние места - стоит оценка 6, а у других за такие же последние места - 14 ? Надо придумать некий общий знаменатель и по нему ставить оценки.

Сейчас предложу свой вариант подсчета.

[Valery Ledovskoy 1082]

Mr. Justice, так это и есть пародия. Правда, пародия серьёзная. Пародия на такой же результат Ивана, в котором он тоже что хотел, то и творил. Если можно ему, почему мне нельзя?

Ваша предвзятость и неприкрытое манипулирование результатами тестов видны невооруженным взглядом и понятны даже ребенку.

Так и у Ивана также. Только никто меня не хотел слушать, пока я Dr.Web на первое место не поставил. Думали, наверное, что это невозможно. Возможно, в математике всё возможно. И синус в военное время до 4 может доходить.

Добавлено спустя 2 минуты 3 секунды:

A., правда неприятно читать такие результаты?

Мне тоже было раньше неприятно

Либо мы сравниваем все антивирусы по единому набору тестовпараметровкритериев - либо тех у кого хоть чего-то нет - выкидываем напрочь.

Во. А я Ивану говорил, что так нельзя. А у него куча прочерков в таблице.

Сейчас предложу свой вариант подсчета.

Давайте. Посмеёмся ещё

Добавлено спустя 3 минуты 20 секунд:

Я вам еще раз повторяю игнорирование концептов в первом тесте - глупое выхолащивание результатов теста.

Тем не менее, мне разрешили использовать отдельно результаты по реальным семплам, если я этого пожелаю.

[A. 876]

Вот первый вариант пересчета.

Тем антивирусам, которые в каком либо тесте не участвовали - за соответствующий тест выставлено 14 баллов - что равно последнему месту при 14-и участниках (у нас всего 14 продуктов).

В пятом тесте - F-Secure я поставил 1 как за первое место - потому что несмотря на неучастие в этом тесте - в данном случае я УВЕРЕН в совпадении финских результатов и KAV (1 место). Но не критично - можете выкинуть и поставить им 14 - мне все равно.

Подчеркиваю, что считаю систему выставления разных оценок за последние места (и все прочие) - не совершенной. Надо либо как-то разбить все 14 возможных значений либо ввести некий процентный коэффициент. Думаю.

Итоги:

Kaspersky 2.8

Drweb 4.6

Symantec 5

NOD32 5.8

BitDefender 6.4

McAfee 6.4

F-Secure 6.4

VBA32 7.8

Avira 8.4

Panda 8.6

Avast 9

Trend Micro 9.6

Sophos 9.6

AVG 10

[Valery Ledovskoy 1082]

A., спасибо, интересно получилось

[Mr. Justice 771]

Mr. Justice, так это и есть пародия. Правда, пародия серьёзная.

Никакая это не пародия, это просто пустословие. Вы бы хотя потрудились "подтасовать" результаты так, что бы это по крайней мере, выглядело правдоподобно, что бы анализ хотя бы в приблизительно напоминал, серьезное рассуждение.

Так и у Ивана также. Только никто меня не хотел слушать, пока я Dr.Web на первое место не поставил. Думали, наверное, что это невозможно. Возможно, в математике всё возможно. И синус в военное время до 4 может доходить.

У Ивана было пусть неправильное, но объективное исследование. У вас видна явная предвзятость, которую вы даже не отрицаете.

[

[A. 876]

так это и есть пародия. Правда, пародия серьёзная. Пародия на такой же результат Ивана, в котором он тоже что хотел, то и творил. Если можно ему, почему мне нельзя?

Можно. В соответствующем разделе - для флуда и офтопика. Рядом с Веталегом.

Так и у Ивана также. Только никто меня не хотел слушать, пока я Dr.Web на первое место не поставил. Думали, наверное, что это невозможно. Возможно, в математике всё возможно. И синус в военное время до 4 может доходить.

Слушали. И я с вашей оценкой "тестов" Ивана согласился, кстати. Только непонятно - чего вы хотели от Ивана и от нас всех ?

[Иван 290]

Валерий ну не хорошо передергивать тесты так, как вам нравится

в руткитах вы вдруг концепты не считаете

в тестах на активное заражение вам нравится как бета доктора себя вела - вы там доктора учитываете, на самозащиту не нравится - вы почему-то говорите что доктор не участвовал - ну мелко как-то даже

самому то не стыдно? Вы меня упрекаете в неверной методе, а сами результаты тестов представляете как Вам нравятся - передергиваете

и не надо рассказывать нам опять про то что зря взяли бету тестировать и что концепты надо брать отдельно - это все ваше личное мнение - надо опираться на результаты тестов как они есть, а они такие:

руткиты

1 Kaspersky Anti-Virus 7.0 (6.5 из 8 баллов)

2 Dr.Web 4.44 (5 из 8 баллов)

3 Symantec Anti-Virus 2008 (4.5 из 8 баллов)

4 F-Secure Anti-Virus 2008 (4 из 8 баллов)

5 BitDefender Antivirus 2008 (3 из 8 баллов)

6 McAfee VirusScan Plus 2008 (1.5 из 8 баллов)

7 Eset Nod32 Anti-Virus 3.0 (1 из 8 баллов)

8 Trend Micro Antivirus plus Antispyware 2008 (1 из 8

проактивка

1 Avira AntiVir Personal Edition Premium 7.0 (71%)

2 BitDefender Antivirus 2008 (65%)

3 Eset Nod32 Anti-Virus 3.0 (59%)

4 Dr.Web 4.44 (57%)

5 Sophos Anti-Virus 7.0 (56%)

6 Avast! Professional Edition 4.7 (52%)

7 VBA32 Antivirus 3.12 (48%)

8 Kaspersky Anti-Virus 7.0 (45%)

9 McAfee VirusScan Plus 2008 (43%)

10 Symantec Anti-Virus 2008 (38%)

11 AVG Anti-Virus Professional Edition 7.5 (37%)

12 F-Secure Anti-Virus 2008 (36%)

13 Trend Micro Antivirus plus Antispyware 2008 (30%)

14 Panda Antivirus 2008 (20%)

15 Agnitum Outpost Security Suite 2008 (12%)

активное заражение

1 Dr.Web Anti-Virus 4.44 Beta (82%)

2 Kaspersky Anti-Virus 7.0 (71%)

2 Symantec Norton AntiVirus 2007 (71%)

3 Panda Antivirus 2008 (59%)

4 Avast! Professional Edition 4.7.1029 (53%)

5 AVG Anti-Virus 7.5 (47%)

6 McAfee VirusScan 2007 (29%)

6 Trend Micro Internet Security 2007 (29%)

7 Avira AntiVir PE Premium 7.0 (24%)

8 F-Secure Anti-Virus 2007 7.0 (18%)

8 Eset NOD32 Antivirus 2.7 (18%)

8 Sophos Anti-Virus 6.5 (18%)

9 Dr.Web Anti-Virus 4.33 (12%)

10 BitDefender Antivirus 10 (6%)

11 VBA32 Antivirus 3.12 (6%)

самозащита

1 Kaspersky Internet Security 7.0 (97%)

2 VBA32 Antivirus 3.11 (71%)

2 Symantec Internet Security 2007 (71%)

3 F-Secure Internet Security 2007 (61%)

4 ZoneAlarm Internet Security 7.0 (58%)

5 Panda Internet Security 2007 (48%)

6 McAfee Internet Security 2007 (47%)

7 Eset Smart Security 3.0 Beta (44%)

8 Trend Micro PC-Cillin 2007 (42%)

9 Avast! Professional Edition 4.7 (33%)

9 Avira Premium Security Suite 7.0 (33%)

9 Sophos Anti-Virus 6.5 (33%)

10 DrWeb 4.44 Beta (32%)

10 Microsoft Windows Live OneCare 1.6 (32%)

10 BitDefender Internet Security 10 (30%)

упаковщики

1 F-Secure Anti-Virus 2006 (81%)

1 Kaspersky Anti-Virus 6.0 (81%)

2 BitDefender 9 Professional Plus (76%)

2 Dr.Web Anti-Virus 4.33 (76%)

3 Eset NOD32 Antivirus 2.5 (57%)

4 AVG Anti-Virus 7.1 (10%)

4 Avira AntiVir PE 7.0 (10%)

4 CA eTrust EZ Antivirus r8 (10%)

4 Clam AntiVirus 0.88 (10%)

4 McAfee VirusScan 2006 (10%)

5 avast! Professional Edition 4.7 (5%)

5 Panda Platinum Internet Security 2006 (5%)

5 Sophos Anti-Virus 6.0 (5%)

5 Symantec Norton AntiVirus 2006 (5%)

5 VBA32 Antivirus 3.11 (5%)

6 Trend Micro PC-Cillin 2006 (0%)

6 UNA 1.8 (0%)

[Valery Ledovskoy 1082]

Только непонятно - чего вы хотели от Ивана и от нас всех?

Я хотел, чтобы все признались, что методика не работает. Даже если брать Ваш "неподтасованный" результат. У Ивана не результат, а фикция, которая ничего не показывает. При этом не нравится, что продолжается тиражирование его идеи через СМИ. Тем самым не только рекламируются определённые продукты, но и страдает репутация сообщества antimalware.ru. Мне постоянная реанимация этого "исследования" не нравится, и я буду обращать на это внимание столько раз, сколько эта интегральная оценка будет всплывать.

Добавлено спустя 3 минуты 3 секунды:

Иван, а теперь сравните свои свежие результаты по тестам antimalware.ru с теми, что у Вас в статье. Разницу, надеюсь, не нужно описывать на 3 абзаца?