Тест антивирусов на быстродействие (подготовка)

[Сергей Ильин 1538]

Уважаемые коллеги, мы планируем проведение нового для нашего портала теста антивирусов. На этот раз антивирусные продукты будут сравниваться по скорости работы и потребляемым ресурсам.

Так как тест новый и приличной готовой методологии не существует, то предлагаю в этой теме обсудить предстоящий тест.

В первом приближении я предлагаю рассмотреть следующий план:

I Подготовка теста

1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

2. Установка типового набора ПО (Office, графика, утилиты, игры).

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

4. Измерение базовых характеристик чистой системы.

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

6. Создание образа системы при помощи специально по (Acronis или аналоги).

7. Установка антивируса и его обновление. Настройки остаются по умолчанию, но фиксируются в сводную таблицу (проверка HTTP, проверка типов файлов, включенные модули и т.п.).

9. Перезагрузка системы.

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

11. Создание образа системы.

II Измерение скорости работы файлового монитора и сканера по требованию

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

Отказываемся! 6. Запускаем установку дистрибутива ПО (например, Fotoshop и/или крупная игра).

7. Измерение производительности системы при помощи утилит Office Performance Test, Sysmark, 3DMark и PCMark.

III Измерение потребления ресурсов

8. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний) при помощи утилиты Process Explorer для пункта 3.

9. Измеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний) для пункта 3.

Повторение пунктов 1-9 частей I и II для каждого антивирусного продукта.

Подведение итогов

1. Расчет/нормирование результатов "торможения" системы с антивирусами относительно эталона по каждому критерию.

2. Формирование сводного индекса загрузки системы для каждого антивируса на основании системы весов.

Буду очень рад любым мнениям, замечаниям по предложенной методологии тестирования.

Начало теста – 15 июня.

[Winny 10]

2. Проверка тестовой коллекции файлов сканером по требованию (2 раза).

Между этими проверками производится обновление вирусных баз.

Ы?

[Иван 290]

Между этими проверками производится обновление вирусных баз.

Ы?

да, надо

[alexgr 556]

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

[Илья Рабинович 521]

Я бы добавил сюда измерение времени запуска пары-тройки популярных игрушек типа WoW (этой у меня нет) или C&C (эта у меня есть).

[EYE 59]

....несколько типов: исполняемые, архивы, офисные документы, медиа-файлы

Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

[Иван 290]

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

[Valery Ledovskoy 1082]

4. Запускаем установку дистрибутива ПО (например, fotoshop и/или крупная игра типа Q4)

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит.

Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

[Ashot 110]

Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный

Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

[Олег Гудилин 95]

Я прочел "методологию".

Я надеюсь, авторы теста понимают, что:

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Что касается обновления баз между "первопрогоном" и прогоном с учётом оптимизации если вы хоттите эту оптимизацию учитывать - мысль конечно интересная, направлена она на то чтобы при повторных прогонах мы все на айчекр айсвифт не брали. Но как вы собираетесь тогда создавать условия равные? Если в момент теста пройдет у кого-то обновление, то это обновление может повлиять на результат последующих прогонов.

Да и на самом деле проверяется или не проверяется неизмененный файл зависит в реальной жизни вовсе не только от того обновил ты базы или нет, а от кучи других параметров, которые начинают "играть" только при долгой работе антивирса на компе. Как вы это планируете учитывать мне не очень понятно.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

3.Для тестирования лучше всего использовать среднестатистический компьютер рекомендованного для данной операционной системы уровня, без излишних наворотов таких как многопроцессорность, экстремальный размер оперативки т.д.

4.Тестовые операционные сситемы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

5.Состав тестовой коллекции отдельная тема. Вполне разумным вариантом будет взять и на установленной в отдельном разделе операционной системе поставить все обновления, офис, фотошоп, акробат и другие стандартные приложения, желательно еще SysMark. Далее взять все файлы из Windows, Program Files, Data Files (это если есть SysMark) добавить туда большой объем фотографий, медиафайлов, документов и дистрибутивов программ - вот смешанная коллекция. Плюс к этому при желании можно из этой коллекции специально отобрать файлы размером скажем 10 Mb и дополнительно прогонять на коллеции этих больших файлов.

Специально подсовывать на тестирование определенные (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Коллекцию желательно держать на отдельном жестком диске, который подсоединять при тестировании.

Как я уже сказал, что между замерами в рамках одного теста должна перезагружаться ОС, а между разными тестами полностью откатываться система в исходное состояние (соответственно и перезаливается коллекция).

6.При проверке on-access для чистоты эксперимента желательно копировать с одного физического диска на другой, а не между логическими разделами. Кроме того для совсем чистого эксперимента лучше делать это командой copy (запуская простейший батник)

7.Все замеры по копированию и сканированию лучше проводить при помощи специально написанных батничков, а не с секундомером в руках. Так точнее будет

8."Измерение скорости загрузки системы с установленным антивирусом" Во-первых, после установки антивируса и его обновления система должна быть перезагружена и уже после этого надо замерять дальнейшие перезагрузки. Время первой загрузки после установки абсолютно не показательно, поскольку это единичная история, а пользователю важно сколько он тратит время при ежедневных перезагрузках. Ну если очень хочется, то можно время первой перезагрузки замерять отдельно, а дальше давать усредненное значение нескольких дальнейших загрузок.

9. Важно четко осознавать, что здесь имеется в виду. Если это копирование коллекции файлов с сетевого на локальный диск это одно. Всяческие игры с уже существующей корпоративной сеткой одинаковых условий для всех продуктов не дадут. Тут тогда надо для частоты эксперимента напрямую связывать два компа.

Если мы говорим о скачивании по http, то тут опять же ни о каком использовании закачки с каких либо Интернет ресурсов речи идти не может, поскольку равных условий для продуктов не будет. Опять же напрямую связанные 2 тестовых компа, на одном из которых http сервис.

Кроме того при проверке по http категорически нельзя сравнивать продукты, у которых есть вебантивирус (Касперский, есет, битдефендер) с теми у кого его нет (доктор, симантек и др.)

10. Скорость старта приложений если таковая будет замеряться лучше замерять спецутилитами, например AppTimer.

11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

12. Хотелось бы видеть список продуктов, которые планируется тестировать.

Если же

- проводить тест на виртуалках или на одном и том же компьютере, снося и ставя антивирусы.

-не стараться отсеивать возможные паразитарные эффекты, влияющие на точность результатов

Тогда получится еще один журнальный тест и нашему удивлению от вашей работы не будет предела.

[dot_sent 140]

11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

+1

Кроме того, для адекватной оценки среднего надо каждый тест повторять хотя бы по 5 раз и брать среднее. Возможно, с отбрасыванием двух граничных значений (сверху и снизу).

[alexgr 556]

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

[TiX 0]

Куча проблем.

по скачке коллекции - у разных АВ есть / нету Traffic scannera / scanirovanija pakovannih objectov v traffike

по ресурсам - замер скорости и потребления монитора на премере ДрВеб - драйвер - как замерить сколько памяти и процессора жрет драйвер?

По загрузке системы - учитыать технилогии ускорения.

Вобщем каждый "этап теста" должен производится 3 раза, результаты усреднятся.

Опять таки вопрос обновления баз (авто обновлялку надо отключить дабы она не сработала)

Ну и конечно настройки АВ... Опять таки Доктор и каспер с различными оптимизаторами.

[EYE 59]

Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

[Александр Шабанов 120]

Измерение потребления ресурсов

1. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

2. Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

То есть коллекция должна быть не пассивной, а активной. Возможно стоит выделить какой-то промежуток времени, может быть пару дней, поставить счетчики и моделировать итерационную файловую активность, тогда мы будем

тенденции, пики и более четкую картину, возможно даже кто-то будет съедать память и т.д.

[Олег Гудилин 95]

На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Полностью согласен. Но только гонять надо не на наборе упакованных, а на этих самых дистрибутивах. Чтоб количество упакованных файлов соответсвовало их реальному кол-ву у пользователей. ПРичем тут тупое сканирование на наборе упакованных?

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

[Сергей Ильин 1538]

Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

Думаю надо использовать рекомендуемые настройки, как это делает подавляющее большинство пользователей.

Для упакованных файлов нужно включить, согласен.

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

Да, это заложено в описанном мной в первом посте планом. Смотрим время загрузки чистой ОС и с установленным антивирусом. На всякий случай делаем несколько итераций, чтобы свести к минимуму возможные ошибки. Функцию обновления выключаем, чтобы это не отражалось на результатах.

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит. Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

Думаю, что на утилитах и нужно остановиться. Если ставить реальные игры по несколько гигабайт, то тест будет золотой по времени его проведения.

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный wink.gif

Если не по Task Manager, то какие есть варианты?

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

Я предполагал замерять совокупное потребление памяти, включая свопинг. ИМХО если прога кладет много данных в своп, то моменты обращения к этим данным самым непосредственным образом влияют на производительность системы, поэтому и хотел измерять совокупное потребление памяти.

Если это некорректно, то давайте искать приемлемые варианты, как сделать лучше.

[Олег Гудилин 95]

Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Разжевать в частности нужно мне.

Как будет организован тестовый стенд, на каких машинах, как будет организован откат к предыдущему состоянию, как конкретно будет происходить замер сетвого копирования и т.д. и т.п. Чем будут создаваться образы системы для отката. Подобное описание есть необходимое условие для понимания того, насколько тест адекватен.

[Сергей Ильин 1538]

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

Уже согласился выше. Будем все выключать.

4.Тестовые операционные системы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

Именно эти ОС и будем брать со всеми актуальными обновлениями.

Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Поясните плиз, не понял вопроса.

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

[EYE 59]

Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

А с чего Вы взяли, что я предполагаю тестирование на одном файле?

Поясните плиз, не понял вопроса.

Наверное будет лучше, если я попробую прояснить для себя некоторые вопросы.

Хотелось бы лучше представлять методологию планируемого тестирования.

Если скорость работы монитора, планируется измерять при помощи-

Копирование тестовой коллекции файлов, измерение времени.

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

[Олег Гудилин 95]

Цитата(Олег Гудилин @ 08.06.2008, 1:19)

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать? Ну если хотите я могу запросить более квалифицированное мнение нашего тестлабв. Но оно боюсь совпадет с

Однако процесс тестирования на виртуальных системах имеет некоторые ограничения: например, виртуальные системы не рекомендуется применять при тестировании производительности (Performance Testing), а также тестировании приложений, предъявляющих высокие требования к физическим ресурсам компьютера.

Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Если вы не собираетесь их учитывать, тогда после каждого прогона нужно откатывать систему на исходную.

Простое отключение механизмов оптимизации не подходит. Кстати эти спорные механизмы использует даже "самый быстрый антивирус". И я еще может быть внесу предложения как можно правильно и честно протестировать скорость при повторных прогонах.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Не забудьте тогда хоть Hibernation и Stand by по таймауту отключить, а то мешать будет. И между замерами откат на исходную, чтобы технологии оптимизации ОС не влияли на сходимость результатов замеров, также как не будут влиять технологии оптимизации антивирусов.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Имхо бред проводить синтетически тесты. Пользователь никогда не сканирует определенные типы файлов, он сканирует виндовые кталоги, программ файлз, папки с дистрибутивами, медиа и документами. Только такие смешанные коллекции могут дать представление о производительности на реальной системе. Вы же производительность тестируете, а не качество и глубину проверки, правильно? Вот и не мешайте все в кучу.

А потом если угодно вы производительность и качество детектирования, проверенное в других тестах, сведете в единую интегрированную оценку, которую портал так долго обсуждал.

Если не по Task Manager, то какие есть варианты?

Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

Гм, замеры можно проводить в рамках всех прогонов при помощи Process Explorer http://technet.microsoft.com/ru-ru/sysinte...653(en-us).aspx

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

Вот как раз копирование вирусов и нельзя назвать интересным и реально нужным для понимания уровня производительности антивируса. Обычный пользователь что - копирует большое кол-во вирусов туда сюда каждый день? Нет он копирует и удаляет чистые файлы и важно насколько антивирус затрудняет ему этот процесс.

[Valery Ledovskoy 1082]

А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать?

Поддерживаю. Такие тесты проводить на виртуалке никак нельзя. Потеря в точности измерений будет существенная. Железо виртуалится не всегда адекватно. На виртуальную систему будут влиять настройки/процессы, происходящие в основной системе (тот же антивирус, установленный в основной системе может при различных прогонах теста в виртуальной системе сбивать результаты в ту или иную сторону).

Почитайте софтварные тесты железа на "железных" сайтах типа http://ferra.ru или http://3dnews.ru . Нигде виртуалка не используется. А данный тест очень зависит именно от характеристик железа. Повторюсь, динамика распределения ресурсов ВМВарей во времени может сильно влиять на результат.

А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

[Иван 290]

А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

+1

+ нужен Acronis или какая-то альтернатива для сохранения образов конфигураций

+ есть у кого идеи какие бенчмарки могут быть дополнительно использованы в таких тестах? Sysmark?

[alexgr 556]

нужен Acronis. Восттанавливаем конфигурацию после каждого парциального теста АВ. Кофнфигурация - стандартна - допустим - ОС, офисные приложения - скажем 2003 офис или ХР, архиватор Winrar 3.0, набор файлов - офисных - 1М, 5М, 10 М, архивы - 1М,5М, 10М, самораспаковывающиеся архивы - 1 и 5 М, самораспаковывающиеся архивы - инсталляторы. Стандартный инсталляционный диск - оговариваем. Замер времени - согласен с Гудилиным - отдельная утилита, а не секундомер. По крайности - пишем батник для использования переменной Time (хотя мне и не нравится). Прогонов - 5. Результат - усредняем по принципу анализа точки сходимости - с отбрасываением большего и наименьшего результата. Никаких виртуалок. Анализ задержек при запусках. Сканер - по инсталлятору и самораспаковывающему архиву - инсталлятору. Все настройки документируем отдельно - как описаны вендором. Примерно так - так я делал тесты, начиная с тестов на тендере в банке. Правда, я еще запихивал на разные уровни архива eicar, но в данном случае это неактуально

[Иван 290]

alexgr, вот вам бы этот тест и провести.

нужен человек, который не раз профессионально тестировал производительность, а не тот кто делает это первый раз

лучше даже профессиональный тестер, но вашего опыта есть подозрение тоже будет предостаточно