Тест антивирусов на быстродействие (подготовка)

[Сергей Брич 0]

Все задачи типа сканирования при старте или обновления будут выключаться. Если нельзя, то ... ничего не поделаешь. За качество защиты нужно чем-то расплачиваться.

Тестирование будет производиться не с настройками по умолчанию?

[Сергей Ильин 1538]

Настройки будут оставляться по умолчанию. Отключать будет только функция обновления, так как это может повлиять на результаты, сделать их не устойчивыми. Что касается сканирования при запуске ОС, то я имел ввиду отключение задач типа полного сканирования жесткого диска при старте. Например, такая задача может запускаться в антивирусе Avast еще до старта Windows. Настройки антивирусного монитора, включая сканирование объектов автозапуска, менять будет нельзя.

[drongo 25]

Ещё несколько нюансов, которые требуют обсуждения:

*Fat32 или NTFS ( винда на на фате или обязательно на ntfs ? )

Возможно затачивались технологии антивирусов под определённую файловую систему.

*Все тесты под учётной записью админа делать?

[EYE 59]

Тестирование с максимальными настройками монитора и сканера, обязательно должно быть проведено,

наряду с тестированием с настройками по-умолчанию.

Ибо то, что для одного антивирусного продукта практически не отличимая легкость в работе,

то для другого весьма ощутимое замедление, способное довести систему до состояния ступора.

Поэтому необходимо, чтобы тест с максимальными настройками монитора и сканера,

и полностью отключёнными оптимизациями, также был включен в предстоящее тестирование.

Максимальные настройки монитора и сканера для каждого АВ продукта, участие которого запланировано в предстоящем тестировании,

вовсе не сложно заранее обсудить, во избежание каких-либо недоразумений впоследствии.

Это наглядно продемонстрирует отличия антивирусных движков различных производителей.

Если же тест с максимальными настройками монитора и сканера не будет включен в предстоящее тестирование,

боюсь, что тогда интерес он будет представлять только академический.

Также, хотел бы отметить, что при планировании подобных мероприятий, аргументы вида:

Это было бы хорошо, но это еще 100% к затратам на проведение теста. Придется отказаться от этой идеи.

смотрятся просто абсурдно. Если не хватает ресурсов, времени или чего-нибудь еще,

лучше вообще не браться за проведение каких-либо тестирований, чем проводить тестирование столь неубедительно.

[alexgr 556]

Если и гонять на архивах, то только zip. Этот формат все вендоры принимают.

не согласен. Гонять надо на всех распространенных, в частности - RAR

1.Я также считаю, что обязательно должен быть прогон с настройками по умолчанию. Предлагаю при этом сделать важную вещь - составить табличку, что у кого включено/выключено по умолчанию. Это даст пользователям пищу для правильных размышлений.

я согласен. И обэтом говорил. Все настройки должны документироваться по сле слова "по умолчанию" - расшифровкой. Давно, правда, Панду не видел - раньше ее движки нифига не мог расшифровать

Возможно затачивались технологии антивирусов под определённую файловую систему.

*Все тесты под учётной записью админа делать?

Для производительности это важно?

+учет того что у большенства ав есть стартап-скан.

отож! для того и предложен замер задержки при загрузке ОС!

[drongo 25]

Возможно затачивались технологии антивирусов под определённую файловую систему.

*Все тесты под учётной записью админа делать?

Для производительности это важно?

права админа- не влияют на производительность, просто удобно запускать тесты под админской учёткой. Каждый раз вставлять пароль в программы -тестировщики задолбает Упомянуть в тесте надо для протокола.

Насчёт файловой системы- важно, хотя если все теcты на одной и той же файловой системе то результат всё равно ведь относительный- то не очень

Просто это может повлиять на сами результаты ( имеется ввиду технологии оптимизации антивирусов могут быть отточены только для ntfs .)Поэтому и задал вопрос

[Иван 290]

Тестирование с максимальными настройками монитора и сканера, обязательно должно быть проведено,

наряду с тестированием с настройками по-умолчанию.

при такой формулировке согласен, оптимизацию выключаем, настройки задираем.

только вот поняти енастроек по максимуму надо обсудить - если один продукт при полных настройках сканирует уязвимости, а другие нет - включать скан уязвимостей неподходящая идея.

Если же тест с максимальными настройками монитора и сканера не будет включен в предстоящее тестирование,

боюсь, что тогда интерес он будет представлять только академический.

а вот это абсурд, подавляющее большинство пользователей работает с настройками по умолчанию - академический интерес скорее представляет сканирование с настройками по максимуму

[SergeyUser 5]

Как точно определить это количество для каждого антивируса? Без непосредственной помощи разработчиков мы никогда точно не узнаем, что проверялось на уровне ядра.

Разве лог тестирования не содержит список всех объектов, проверенных ядром? Включая все вложенные.

[A. 876]

Разве лог тестирования не содержит список всех объектов, проверенных ядром? Включая все вложенные.

нет. целая куча антивирусов не пишет в логи подобной информации - по умолчанию только самые критические вещи.

[EYE 59]

а вот это абсурд, подавляющее большинство пользователей работает с настройками по умолчанию - академический интерес скорее представляет сканирование с настройками по максимуму

Абсурд, говорите? Хорошо, тогда вспомним об особенностях работы файловых мониторов

антивирусных продуктов Eset и Kaspersky.

При настройках по-умолчанию, во время разархивации архива содержащего malware (например с eicar test file) ,

файловый монитор Nod32, EAV 3.0, ESS 3.0 срабатывает мгновенно, детектируя вредоносный объект.

Монитор же KAV,KIS 7 и KAV,KIS 2009, позволяет спокойно разархивировать вредоносные объекты,

никак при этом не реагируя – реакция происходит лишь при последующем , непосредственном обращении

к извлеченному объекту, а для изменения подобной особенности работы файлового монитора Kaspersky,

требуется применение уже других настроек, отличных от настроек по-умолчанию.

Я сейчас не говорю о том, хороша или не хороша подобная «оптимизация», а напоминаю об особенностях работы

файловых мониторов в контексте планируемого тестирования.

И это только особенности, возникающие всего лишь на примере двух антивирусных продуктов - что уж говорить о полном списке.

Следовательно, можно сделать вполне закономерный и логичный вывод о том, что _реальную_ скорость работы и быстродействие

монитора и сканера, может выявить лишь тестирование при максимальных настройках, с отключенными оптимизациями,

в то время как тестирование при настройках по-умолчанию является лишь "академической лирикой",

необходимой для проведения всеобъемлющего тестирования, но являющейся второстепенной и не отражающей,

повторюсь еще раз, _реальную_ скорость работы и быстродействие

В противном случае, стоит ограничиться лишь определениями «Тест антивирусов на быстродействие»

(возможно добавив словосочетания для «простых пользователей» и т.п.), но не в коем случае не оперировать

такими понятиями как «файловый монитор», «сканер» «серьезный, профессиональный подход к тестированию»,

т.к. отражение реального положения вещей подобным тестированием, не далеко уйдет от тестов проводимых некоторыми изданиями,

и вызывающих всеобщую потеху сообщества портала antimalware.ru

только вот поняти енастроек по максимуму надо обсудить - если один продукт при полных настройках сканирует уязвимости, а другие нет - включать скан уязвимостей неподходящая идея.

Естественно, что поиск уязвимостей, как не имеющий непосредственного отношения к предмету планируемого тестирования,

должен быть отключен при использовании максимальных настроек.

Не беспокойтесь, никто не собирается предлагать для Kaspersky 2009 заведомо неравных условий

[Иван 290]

EYE, если вы заметили, то я как и вы считаю, что тест с максимальными настройками и отключенной оптимизацией нужен.

но любой тест, в котором антивирус или любой другой продукт находится в условиях, в которых он у большинства пользователей не находится, является академическим.

тест с максимальные настройками и отключенной оптимизацией - до определенной степени академический, но провести его НАДО.

P/S кстати, EYE, вы уверены, что та или иная оптимизация у всех продуктов является отключаемой функцией и ее сущестование афишируемой для широкой публики?

[EYE 59]

EYE, если вы заметили, то я как и вы считаю, что тест с максимальными настройками и отключенной оптимизацией нужен.

но любой тест, в котором антивирус или любой другой продукт находится в условиях, в которых он у большинства пользователей не находится, является академическим.

тест с максимальные настройками и отключенной оптимизацией - до определенной степени академический, но провести его НАДО.

ОК, несмотря на различное восприятие важности такого тестирования с максимальными настройками,

мы оба считаем что провести его нужно. Надеюсь, что и авторы теста, разделят эту точку зрения.

P/S кстати, EYE, вы уверены, что та или иная оптимизация у всех продуктов является отключаемой функцией и ее сущестование афишируемой для широкой публики?

Нет, конечно. Но единственный выход, это оперирование доступными настройками.

(Не использовать же недокументированные возможности).

[Сергей Ильин 1538]

Если же тест с максимальными настройками монитора и сканера не будет включен в предстоящее тестирование,

боюсь, что тогда интерес он будет представлять только академический.

Не принимается, мы будем тестировать только настройки по умолчанию. Если какой-то юзер начинает играться с настройками - это его проблема, он должен осознавать, что система может работать медленнее. Как правило, при активации "тяжелых" функций нормальный софт предупреждает юзера об этом.

[Иван 290]

Не принимается, мы будем тестировать только настройки по умолчанию. Если какой-то юзер начинает играться с настройками - это его проблема, он должен осознавать, что система может работать медленнее. Как правило, при активации "тяжелых" функций нормальный софт предупреждает юзера об этом.

плохо, снизит вес теста - потому как будет лишний повод его опустить

[Сергей Ильин 1538]

плохо, снизит вес теста - потому как будет лишний повод его опустить

Любой тест можно опустить. В нашем случае важно вовремя остановиться, иначе тест может не закончиться вовсе. Можно протестировать все антивирусы с различными настройками, проверить технологии оптимизации, провести [***]овову тучу разных тестов. Навернуть можно немеренно всего, но за всем этим можно забыть первоначальную цель теста - сравнить быстродействие и ресурсоемкость антивирусов у рядового пользователя. Все остальное будет всего лишь дополнением к этому тесту.

Это называется управление проектом, надо реально смотреть на имеющиеся ресурсы. Будет лучше, если мы сначала сделаем главное, а потом можно будет сделать дополнительные тесты.

Отредактировал Июль 26, 2008 Николай Головко

[Иван 290]

дело ваше

[EYE 59]

Не принимается, мы будем тестировать только настройки по умолчанию.

и т.д...

Сергей Ильин, лично я, воспринимаю antimalware.ru как портал, тестирования которого

отличаются от альтернативных по целому ряду положительных пунктов.

Искренне жаль, что при обсуждении планируемого (далеко не самого сложного

по своей сути), тестирования "на быстродействие", начинают прослеживаться обратные тенденции...

[Сергей Ильин 1538]

Искренне жаль, что при обсуждении планируемого (далеко не самого сложного

по своей сути), тестирования "на быстродействие", начинают прослеживаться обратные тенденции...

Да нет никаких тенденций, я же написал, что интересно сделать очень многое, в том числе и измерить скорость работы с максимальными настройками, но это уже немного другой тест и я против того, чтобы все сейчас мешать в кучу.

[Андрей-001 1099]

интересно сделать очень многое, в том числе и измерить скорость работы с максимальными настройками, но это уже немного другой тест и я против того, чтобы все сейчас мешать в кучу.

Думаю, Сергей Ильин прав, и на данный момент с этим решением стоит согласиться, ведь антивирусные вендоры при установке дают именно рекомендуемые по умолчанию настройки.

Да и определить максимальные настройки у каждого тестируемого продукта, чтобы выявить качество - это тоже своего рода немаленький тест и чтобы дождаться его окончания на тестируемой машине нужно немало времени.

Удачного тестирования и терпения всем!

И с праздником святой Троицы!

[Kokunov Aleksey 20]

Не принимается, мы будем тестировать только настройки по умолчанию. Если какой-то юзер начинает играться с настройками - это его проблема, он должен осознавать, что система может работать медленнее. Как правило, при активации "тяжелых" функций нормальный софт предупреждает юзера об этом.

Ну тогда уж и не надо отключать все "ускоряющие" технологии, иначе что мы будем проверять? Тагда ставим АВ As Is - и все - алга...

[Сергей Ильин 1538]

Ну тогда уж и не надо отключать все "ускоряющие" технологии, иначе что мы будем проверять? Тагда ставим АВ As Is - и все - алга...

Мы не будем отключать ускоряющие технологии, об этом речи не было. Сам факт такого отключение (у кого-то это сделать нельзя) поставит сравниваемые продукты в неравное положение. Чтобы невелировать влияние технологий оптимизации мы будем каждый раз откатываться до первоначального слепка системы.

Тут ее один важный момент есть. ИМХО наша последовательность действий при замере скорости загрузки ОС должна быть строго такой:

- установка антивируса

- перезагрузка системы

- обновление антивируса

**** снатие слепка системы ****

- перезагрузка системы измерение скорости загрузки

Если обновится сразу после усновки (некоторые антивирусы это предлагают сделать), то получатся неравные условия теста. Для того же Касперского это будет это вторая загрузка с теме же базами и будет работать iChecker со всеми вытекающими, что отразится на скорости.

[Сергей Ильин 1538]

Список тестируемых продуктов:

1. Agnitum Outpost Pro Antivirus 2008

2. Avast Antivirus Professional 4.8

3. AVG AVG Anti-Virus & Anti-Spyware 8.0

4. Avira AntiVir Personal 8.0

5. BitDefender Anti-Virus 2008

6. DrWeb 4.44

7. Eset Nod32 Antivirus 3.0

8. F-Secure Anti-Virus 2008

9. Kaspersky Anti-Virus 2009 RC

10. McAfee VirusScan Plus 2008

11. Microsoft Windows Live OneCare 2.0

12. Panda Antivirus 2008

13. Sophos Anti-Virus 7.3

14. Symantec Anti-Virus 2008

15. Trend Micro Antivirus plus Antispyware 2008

16. VBA32 Workstation 3.12.7 betа

Есть какие-то замечания по этому списку?

[Olegka-2007 0]

Список тестируемых продуктов:

1. Agnitum Outpost Pro Antivirus 2008

2. Avast Antivirus Professional 4.8

3. AVG AVG Anti-Virus & Anti-Spyware 8.0

4. Avira AntiVir Personal 7.0

5. BitDefender Anti-Virus 2008

6. DrWeb 4.44

7. Eset Nod32 Antivirus 3.0

8. F-Secure Anti-Virus 2008

9. Kaspersky Anti-Virus 2009 RC

10. McAfee VirusScan 2008

11. Microsoft Windows Live OneCare 2.0

12. Panda Antivirus 2008

13. Sophos Anti-Virus 7.3

14. Symantec Anti-Virus 2008

15. Trend Micro Antivirus plus Antispyware 2008

16. VBA32 Workstation 3.12.7 betа

Есть какие-то замечания по этому списку?

Почему Avira 7, а не 8? Kaspersky RC, а не TR?

[Сергей Ильин 1538]

Почему Avira 7, а не 8? Kaspersky RC, а не TR?

Не учел обновление Авиры, сорри. Kaspersky TR я и имел ввиду, но для теста лучше его назвать RC, так как эта же сборка по моей информации в релиз и пойдет.

[Umnik 997]

"Эта сборка" - это 357? Если да, то она уже в релизе, но в Европе и Америке.