Перейти к содержанию
Сергей Ильин

Тест антивирусов на быстродействие (подготовка)

Recommended Posts

Сергей Ильин

Уважаемые коллеги, мы планируем проведение нового для нашего портала теста антивирусов. На этот раз антивирусные продукты будут сравниваться по скорости работы и потребляемым ресурсам.

Так как тест новый и приличной готовой методологии не существует, то предлагаю в этой теме обсудить предстоящий тест.

В первом приближении я предлагаю рассмотреть следующий план:

I Подготовка теста

1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

2. Установка типового набора ПО (Office, графика, утилиты, игры).

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

4. Измерение базовых характеристик чистой системы.

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

6. Создание образа системы при помощи специально по (Acronis или аналоги).

7. Установка антивируса и его обновление. Настройки остаются по умолчанию, но фиксируются в сводную таблицу (проверка HTTP, проверка типов файлов, включенные модули и т.п.).

9. Перезагрузка системы.

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

11. Создание образа системы.

II Измерение скорости работы файлового монитора и сканера по требованию

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

Отказываемся! 6. Запускаем установку дистрибутива ПО (например, Fotoshop и/или крупная игра).

7. Измерение производительности системы при помощи утилит Office Performance Test, Sysmark, 3DMark и PCMark.

III Измерение потребления ресурсов

8. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний) при помощи утилиты Process Explorer для пункта 3.

9. Измеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний) для пункта 3.

Повторение пунктов 1-9 частей I и II для каждого антивирусного продукта.

Подведение итогов

1. Расчет/нормирование результатов "торможения" системы с антивирусами относительно эталона по каждому критерию.

2. Формирование сводного индекса загрузки системы для каждого антивируса на основании системы весов.

Буду очень рад любым мнениям, замечаниям по предложенной методологии тестирования.

Начало теста – 15 июня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Winny
2. Проверка тестовой коллекции файлов сканером по требованию (2 раза).

Между этими проверками производится обновление вирусных баз.

Ы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Между этими проверками производится обновление вирусных баз.

Ы?

да, надо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Я бы добавил сюда измерение времени запуска пары-тройки популярных игрушек типа WoW (этой у меня нет) или C&C (эта у меня есть).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EYE
....несколько типов: исполняемые, архивы, офисные документы, медиа-файлы

Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
4. Запускаем установку дистрибутива ПО (например, fotoshop и/или крупная игра типа Q4)

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит.

Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ashot
Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный ;)

Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин

Я прочел "методологию".

Я надеюсь, авторы теста понимают, что:

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Что касается обновления баз между "первопрогоном" и прогоном с учётом оптимизации если вы хоттите эту оптимизацию учитывать - мысль конечно интересная, направлена она на то чтобы при повторных прогонах мы все на айчекр айсвифт не брали. Но как вы собираетесь тогда создавать условия равные? Если в момент теста пройдет у кого-то обновление, то это обновление может повлиять на результат последующих прогонов.

Да и на самом деле проверяется или не проверяется неизмененный файл зависит в реальной жизни вовсе не только от того обновил ты базы или нет, а от кучи других параметров, которые начинают "играть" только при долгой работе антивирса на компе. Как вы это планируете учитывать мне не очень понятно.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

3.Для тестирования лучше всего использовать среднестатистический компьютер рекомендованного для данной операционной системы уровня, без излишних наворотов таких как многопроцессорность, экстремальный размер оперативки т.д.

4.Тестовые операционные сситемы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

5.Состав тестовой коллекции отдельная тема. Вполне разумным вариантом будет взять и на установленной в отдельном разделе операционной системе поставить все обновления, офис, фотошоп, акробат и другие стандартные приложения, желательно еще SysMark. Далее взять все файлы из Windows, Program Files, Data Files (это если есть SysMark) добавить туда большой объем фотографий, медиафайлов, документов и дистрибутивов программ - вот смешанная коллекция. Плюс к этому при желании можно из этой коллекции специально отобрать файлы размером скажем 10 Mb и дополнительно прогонять на коллеции этих больших файлов.

Специально подсовывать на тестирование определенные (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Коллекцию желательно держать на отдельном жестком диске, который подсоединять при тестировании.

Как я уже сказал, что между замерами в рамках одного теста должна перезагружаться ОС, а между разными тестами полностью откатываться система в исходное состояние (соответственно и перезаливается коллекция).

6.При проверке on-access для чистоты эксперимента желательно копировать с одного физического диска на другой, а не между логическими разделами. Кроме того для совсем чистого эксперимента лучше делать это командой copy (запуская простейший батник)

7.Все замеры по копированию и сканированию лучше проводить при помощи специально написанных батничков, а не с секундомером в руках. Так точнее будет

8."Измерение скорости загрузки системы с установленным антивирусом" Во-первых, после установки антивируса и его обновления система должна быть перезагружена и уже после этого надо замерять дальнейшие перезагрузки. Время первой загрузки после установки абсолютно не показательно, поскольку это единичная история, а пользователю важно сколько он тратит время при ежедневных перезагрузках. Ну если очень хочется, то можно время первой перезагрузки замерять отдельно, а дальше давать усредненное значение нескольких дальнейших загрузок.

9. Важно четко осознавать, что здесь имеется в виду. Если это копирование коллекции файлов с сетевого на локальный диск это одно. Всяческие игры с уже существующей корпоративной сеткой одинаковых условий для всех продуктов не дадут. Тут тогда надо для частоты эксперимента напрямую связывать два компа.

Если мы говорим о скачивании по http, то тут опять же ни о каком использовании закачки с каких либо Интернет ресурсов речи идти не может, поскольку равных условий для продуктов не будет. Опять же напрямую связанные 2 тестовых компа, на одном из которых http сервис.

Кроме того при проверке по http категорически нельзя сравнивать продукты, у которых есть вебантивирус (Касперский, есет, битдефендер) с теми у кого его нет (доктор, симантек и др.)

10. Скорость старта приложений если таковая будет замеряться лучше замерять спецутилитами, например AppTimer.

11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

12. Хотелось бы видеть список продуктов, которые планируется тестировать.

Если же

- проводить тест на виртуалках или на одном и том же компьютере, снося и ставя антивирусы.

-не стараться отсеивать возможные паразитарные эффекты, влияющие на точность результатов

Тогда получится еще один журнальный тест и нашему удивлению от вашей работы не будет предела.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent
11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

+1

Кроме того, для адекватной оценки среднего надо каждый тест повторять хотя бы по 5 раз и брать среднее. Возможно, с отбрасыванием двух граничных значений (сверху и снизу).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Куча проблем.

по скачке коллекции - у разных АВ есть / нету Traffic scannera / scanirovanija pakovannih objectov v traffike

по ресурсам - замер скорости и потребления монитора на премере ДрВеб - драйвер - как замерить сколько памяти и процессора жрет драйвер?

По загрузке системы - учитыать технилогии ускорения.

Вобщем каждый "этап теста" должен производится 3 раза, результаты усреднятся.

Опять таки вопрос обновления баз (авто обновлялку надо отключить дабы она не сработала)

Ну и конечно настройки АВ... Опять таки Доктор и каспер с различными оптимизаторами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EYE
Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Измерение потребления ресурсов

1. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

2. Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

То есть коллекция должна быть не пассивной, а активной. Возможно стоит выделить какой-то промежуток времени, может быть пару дней, поставить счетчики и моделировать итерационную файловую активность, тогда мы будем

тенденции, пики и более четкую картину, возможно даже кто-то будет съедать память и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Полностью согласен. Но только гонять надо не на наборе упакованных, а на этих самых дистрибутивах. Чтоб количество упакованных файлов соответсвовало их реальному кол-ву у пользователей. ПРичем тут тупое сканирование на наборе упакованных?

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

Думаю надо использовать рекомендуемые настройки, как это делает подавляющее большинство пользователей.

Для упакованных файлов нужно включить, согласен.

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

Да, это заложено в описанном мной в первом посте планом. Смотрим время загрузки чистой ОС и с установленным антивирусом. На всякий случай делаем несколько итераций, чтобы свести к минимуму возможные ошибки. Функцию обновления выключаем, чтобы это не отражалось на результатах.

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит. Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

Думаю, что на утилитах и нужно остановиться. Если ставить реальные игры по несколько гигабайт, то тест будет золотой по времени его проведения.

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный wink.gif

Если не по Task Manager, то какие есть варианты?

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

Я предполагал замерять совокупное потребление памяти, включая свопинг. ИМХО если прога кладет много данных в своп, то моменты обращения к этим данным самым непосредственным образом влияют на производительность системы, поэтому и хотел измерять совокупное потребление памяти.

Если это некорректно, то давайте искать приемлемые варианты, как сделать лучше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Разжевать в частности нужно мне.

Как будет организован тестовый стенд, на каких машинах, как будет организован откат к предыдущему состоянию, как конкретно будет происходить замер сетвого копирования и т.д. и т.п. Чем будут создаваться образы системы для отката. Подобное описание есть необходимое условие для понимания того, насколько тест адекватен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

Уже согласился выше. Будем все выключать.

4.Тестовые операционные системы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

Именно эти ОС и будем брать со всеми актуальными обновлениями.

Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? :) Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Поясните плиз, не понял вопроса.

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EYE
Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

А с чего Вы взяли, что я предполагаю тестирование на одном файле?

Поясните плиз, не понял вопроса.

Наверное будет лучше, если я попробую прояснить для себя некоторые вопросы.

Хотелось бы лучше представлять методологию планируемого тестирования.

Если скорость работы монитора, планируется измерять при помощи-

Копирование тестовой коллекции файлов, измерение времени.

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Цитата(Олег Гудилин @ 08.06.2008, 1:19)

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать? Ну если хотите я могу запросить более квалифицированное мнение нашего тестлабв. Но оно боюсь совпадет с

Однако процесс тестирования на виртуальных системах имеет некоторые ограничения: например, виртуальные системы не рекомендуется применять при тестировании производительности (Performance Testing), а также тестировании приложений, предъявляющих высокие требования к физическим ресурсам компьютера.
Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Если вы не собираетесь их учитывать, тогда после каждого прогона нужно откатывать систему на исходную.

Простое отключение механизмов оптимизации не подходит. Кстати эти спорные механизмы использует даже "самый быстрый антивирус". И я еще может быть внесу предложения как можно правильно и честно протестировать скорость при повторных прогонах.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Не забудьте тогда хоть Hibernation и Stand by по таймауту отключить, а то мешать будет. И между замерами откат на исходную, чтобы технологии оптимизации ОС не влияли на сходимость результатов замеров, также как не будут влиять технологии оптимизации антивирусов.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Имхо бред проводить синтетически тесты. Пользователь никогда не сканирует определенные типы файлов, он сканирует виндовые кталоги, программ файлз, папки с дистрибутивами, медиа и документами. Только такие смешанные коллекции могут дать представление о производительности на реальной системе. Вы же производительность тестируете, а не качество и глубину проверки, правильно? Вот и не мешайте все в кучу.

А потом если угодно вы производительность и качество детектирования, проверенное в других тестах, сведете в единую интегрированную оценку, которую портал так долго обсуждал.

Если не по Task Manager, то какие есть варианты?
Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

Гм, замеры можно проводить в рамках всех прогонов при помощи Process Explorer http://technet.microsoft.com/ru-ru/sysinte...653(en-us).aspx

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

Вот как раз копирование вирусов и нельзя назвать интересным и реально нужным для понимания уровня производительности антивируса. Обычный пользователь что - копирует большое кол-во вирусов туда сюда каждый день? Нет он копирует и удаляет чистые файлы и важно насколько антивирус затрудняет ему этот процесс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать?

Поддерживаю. Такие тесты проводить на виртуалке никак нельзя. Потеря в точности измерений будет существенная. Железо виртуалится не всегда адекватно. На виртуальную систему будут влиять настройки/процессы, происходящие в основной системе (тот же антивирус, установленный в основной системе может при различных прогонах теста в виртуальной системе сбивать результаты в ту или иную сторону).

Почитайте софтварные тесты железа на "железных" сайтах типа http://ferra.ru или http://3dnews.ru . Нигде виртуалка не используется. А данный тест очень зависит именно от характеристик железа. Повторюсь, динамика распределения ресурсов ВМВарей во времени может сильно влиять на результат.

А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

+1

+ нужен Acronis или какая-то альтернатива для сохранения образов конфигураций

+ есть у кого идеи какие бенчмарки могут быть дополнительно использованы в таких тестах? Sysmark?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

нужен Acronis. Восттанавливаем конфигурацию после каждого парциального теста АВ. Кофнфигурация - стандартна - допустим - ОС, офисные приложения - скажем 2003 офис или ХР, архиватор Winrar 3.0, набор файлов - офисных - 1М, 5М, 10 М, архивы - 1М,5М, 10М, самораспаковывающиеся архивы - 1 и 5 М, самораспаковывающиеся архивы - инсталляторы. Стандартный инсталляционный диск - оговариваем. Замер времени - согласен с Гудилиным - отдельная утилита, а не секундомер. По крайности - пишем батник для использования переменной Time (хотя мне и не нравится). Прогонов - 5. Результат - усредняем по принципу анализа точки сходимости - с отбрасываением большего и наименьшего результата. Никаких виртуалок. Анализ задержек при запусках. Сканер - по инсталлятору и самораспаковывающему архиву - инсталлятору. Все настройки документируем отдельно - как описаны вендором. Примерно так - так я делал тесты, начиная с тестов на тендере в банке. Правда, я еще запихивал на разные уровни архива eicar, но в данном случае это неактуально

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

alexgr, вот вам бы этот тест и провести.

нужен человек, который не раз профессионально тестировал производительность, а не тот кто делает это первый раз

лучше даже профессиональный тестер, но вашего опыта есть подозрение тоже будет предостаточно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • demkd
      а внутри локалки и не получится, белые ip нужны только при подключении через интернет.
    • santy
      Проверил на двух домашних ПК в локальной сети с роутером. Схема с серым IP работает отлично. Передача файлов гениальна! Вот просто как будто дополнительное зрение появилось :). Через белый IP  пока не удалось подключиться. Пришлось еще фаерволлы включить в интерактивный режим. (На автомате еще не проверял, возможно надо сохранить некоторые правила.)
    • demkd
      ---------------------------------------------------------
       4.99.4
      ---------------------------------------------------------
       o Исправлена функция автоматического переключения удаленных рабочих столов.
         Проблема проявлялась при работе с удаленной системой через локальную сеть, при запуске приложения
         от имени администратора не происходило автоматическое переключение на защищенный рабочий стол.
         (не касается полной версии разового доступа к рабочему столу, в этом режиме проблемы не было).

       o Проведено сравнительное тестирование системного удаленного рабочего стола и uVS.
         Передача файлов через системный удаленный рабочий стол идет почти в 20 раз медленней чем через через uVS.
         Максимальный fps в 32-х битном цвете почти в 3 раза ниже чем у uVS в FHD.
         (!) Выявлена проблема совместного использования uVS и системного рабочего стола.
         (!) Если системный рабочий стол был закрыт БЕЗ выхода из пользователя, то uVS не сможет
         (!) отбразить рабочий стол логона пользователя (Winlogon).
         (!) Единственное решение проблемы: подключиться заново через системный рабочий стол и выйти из пользователя.
       
    • demkd
      ---------------------------------------------------------
       4.99.3
      ---------------------------------------------------------
       o Это обновление повышает качество работы с удаленной системой и добавляет новый режим работы.
         (!) Новая функция не совместима со старыми версиями uVS, если у вас в настройках установлен флаг bReUseRemote = 1,
         (!) то перед обновлением необходимо закрыть все серверные части uVS на удаленных компьютерах с помощью
         (!) старой версии uVS.

       o Добавлен новый режим работы: Разовый доступ к удаленному компьютеру.
         (!) Доступно начиная с Vista, подключение к рабочему столу устаревших систем возможно лишь прежним способом.
         Ранее просмотр и управление рабочим столом удаленного компьютера было вспомогательной функцией при работе с удаленной системой.
         Для подключения требовались полномочия администратора или знание логина и пароля администратора удаленного компьютера и
         физическая возможность подключения к удаленному компьютеру.
         Новый режим работы похож на то, что предлагают всевозможные поделки для удаленного администрирования.
         o В этом режиме доступно: управление и просмотр рабочего стола, а также быстрый и надежный обмен файлами на пределе пропускной
           способности канала. (для сравнения RAdmin в гигабитной сети передает файлы более чем в 15 раз медленней чем uVS).
         o Передаваемые кадры теперь не только сжимаются, но и шифруются,  целостность передаваемых файлов защищена
           проверочным хэшем и шифрованием.
         o Подключение осуществляется без использования промежуточного сервера, т.е. это чистый P2P.
         o Подключение возможно к компьютеру за NAT при включенной у роутера опции uPNP.
         o Подключение возможно к компьютеру, где активирован VPN.
           (!) Подключение производится к реальному адресу роутера или адаптера компьютера с VPN, VPN канал полностью игнорируется.
         o Подключение возможно в обе стороны, т.е. из пары компьютеров требуется лишь 1 белый IP, направление подключения выбирается
           при начальной настройке.

         При запуске start.exe теперь вам доступны три новые кнопки:
         o Управление удаленным компьютером и обмен файлами.
           Эту кнопку нажимает тот кто хочет получить доступ к удаленному компьютеру, в открывшемся окне можно выбрать
           вариант подключения (см. ниже) и ввести код доступа полученный от того кто предоставляет доступ к компьютеру.
           Варианты подключения:
             o Соединение примет мой компьютер - в этом случае необходимо выбрать IP к которому будет подключаться другая
               сторона. При подключении через интернет следует выбирать белый IP адрес, если ваш компьютер за роутером
               и на нем активен NAT, то выбрать нужно именно его IP адрес. (адрес с пометкой [router]).
               Если роутер поддерживает uPNP, то этот адрес будет выбран по умолчанию.
               Если же в списке нет белых IP то вам следует выбрать другую опцию подключения.
               После выбора IP просто нажмите кнопку Старт и передайте одноразовый код доступа другой стороне.
               При подключении по локальной сети вы можете нажать кнопку "Все IP" и выбрать любой серый адрес для подключения.
               Поддерживается и IPv4 и IPv6.
               (!) Код доступа автоматически копируется в буфер обмена при нажатии кнопки "Старт".

             o Соединение установит мой компьютер - просто скопируйте код доступа в поле ввода или код там появится автоматически
               если вы его скопировали из мессенджера. После чего нажмите кнопку Старт и ожидайте подключения.

         o Разовый удаленный доступ к моему компьютеру [админ]
           (!)Пользователь должен обладать правами администратора или правами по запуску и установке служб.
           Эту кнопку нажимает тот кто хочет предоставить доступ к своему компьютеру, в открывшемся окне можно выбрать
           разрешения для другой стороны.
           Доступны 3 варианта:
             o  Управление     - доступно: мышь, клавиатура, просмотр экрана и обмен файлами.
             o  Просмотр       - доступно: просмотр экрана и обмен файлами.
             o  Обмен файлами  - доступно: обмен файлами.
           Это полнофункциональная версия удаленного рабочего стола uVS, с возможностью удаленного подтверждения
           запуска приложений от имени администратора и эмуляции нажатия Ctrl+Alt+Del.

         o Разовый удаленный доступ к моему компьютеру [не админ]
           Все тоже самое что и во 2-м случае, кроме удаленного подтверждения запуска приложений от имени администратора
           и эмуляции нажатия Ctrl+Alt+Del, дополнительно есть ограничение по использованию защищенных рабочих столов.

       o При работе с удаленным рабочим столом теперь доступна передача файлов и каталогов из буфера обмена в обе стороны.
         Что бы передать файлы или целые каталоги на удаленный компьютер, просто скопируйте их в буфер обмена и в окне
         удаленного рабочего стола нажмите кнопку со стрелкой вверх.
         Передача изображения автоматически отключится и откроется окно с логом передачи файлов.
         В заголовке окна лога вы увидите объем переданных данных и среднюю скорость передачи (с учетом чтения их с диска).
         По окончании передачи  файлов в лог будет выведена информации о времени передачи, количестве успешно переданных файлов и
         средней скорости передачи.
         Переданные файлы будут помещены в буфер обмена удаленной системы и вы сможете  вставить их из буфера
         в любой каталог или прямо на рабочий стол. При этом файлы переносятся из временного каталога.
         Если же вы не вставили файлы из буфера обмена то они останутся во временном каталоге C:\uVS_copyfiles\*
         точный путь до которого выводится в лог на удаленном компьютере.
         Что бы получить файлы проделайте обратную операцию: скопируйте файлы в буфер обмена на удаленном компьютере
         и нажмите кнопку со стрелкой вниз, по завершению передачи файлы будут помещены в буфер обмена вашего компьютера
         и вы можете перенести их в любую нужную папку.
         Таким образом обе стороны видят какие файлы и куда копируются и при этом максимально упрощается процесс копирования.
         (!) При закрытии окна лога передача файлов будет остановлена.
         (!) При разрыве соединения передача файлов будет автоматически продолжена после восстановления соединения,
         (!) при этом работает функция докачки, т.е. если ошибка произошла при передаче большого файла, то передача его
         (!) продолжится с последнего успешно полученного блока, т.е. блок будет заново.
         (!) Каждая передача файлов является независимой, т.е. нельзя прервать передачу и воспользоваться функцией докачки.
         (!) Проверка целостности файлов производится на лету вместе с его расшифровкой, таким образом достигается
         (!) максимально возможная скорость передачи примерно равная скорости копирования файлов по локальной сети системой.
         (!) При необходимости передачи большого количества мелких файлов рекомендуется поместить их в архив, это серьезно
         (!) сократит время передачи.
         (!) Состоянии кнопки CS никак не влияет на данный функционал.

       o Изменен приоритет протоколов: IPv4 теперь является приоритетным, как показали замеры в гигабитной локальной сети
         IPv4 позволяет достичь более высокой скорости передачи данных.

       o Добавлено шифрование сжатых кадров удаленного рабочего стола для повышения защиты передаваемой по сети информации.

       o В случае разрыва соединения повторное подключение происходит автоматически без запроса.

       o Снижен инпут лаг при работе с удаленным рабочим столом.

       o Обновлена функция синхронизации буфера обмена с удаленной системой: теперь поддерживается передача скриншотов
         в обе стороны.

       o Обновлена функция передачи движений мыши в удаленную систему.
         Теперь доступно управление с помощью движений мыши, которое используется в некоторых приложениях и играх. (если нажата кнопка MM)
         Если указатель мыши видим в удаленной системе то управление производится позиционированием указателя по расчетным координатам (как и раньше),
         в противном случае указатель скрывается в клиентской системе и передаются лишь движения мыши.
         При возникновении проблем с восстановлением видимости указателя вы всегда можете переключиться из окна удаленной рабочего стола по горячей
         клавише RWin.

       o uVS теперь при старте добавляется в исключения Ф и брандмауэра до выхода из uVS.

       o Теперь запоминаются размеры и режим отображения удаленного рабочего стола для каждого активного монитора.
         Кнопка 1:1 применяется автоматически при первом выборе монитора.
         Обработчик кнопки 1:1 обновлен, теперь размер окна рассчитывается с высокой точностью для новых систем,
         где размер окна включает в себя тень.

       o Добавлен выбор метода захвата экрана, доступно 3 варианта:
         o GDI -  медленный метод захвата экрана, но работает в любой удаленной системе, постоянный fps.
                  (единственный доступный метод для Win2k-Win7)

         o DDA1 - быстрый, работает начиная с Windows 8, максимальный коэффициент сжатия,
                  переменный fps в зависимости от экранной активности.
                  (!) рекомендуется использовать при ширине канала ниже 100Mbit, вместо DDA2.

         o DDA2 - очень быстрый метод сравнимый с захватом экрана с помощью mirror драйвера, но без использования драйвера,
                  работает начиная с Windows 8, низкий коэффициент сжатия, переменный fps в зависимости от экранной активности.
                  Способен захватывать видео с высоким fps (до 60) за счет упрощенного метода сжатия и обработки потока кадров.
                  (метод по умолчанию для Win8+, рекомендуется при значительной экранной активности).
                  (!) рекомендуется использовать при ширине канала не менее 100Mbit, при высоких разрешениях 1Gbit и выше
                  (!) из-за низкого коэффициента сжатия.
                  (!) При низкой экранной активности трафик до 10 раз больше чем у DDA1, при высокой - в 2 раза больше.
          
       o В окно удаленной рабочего стола добавлена кнопка "SYN" она замещает собой ручной выбора задержки захвата кадров.
         (отжатая кнопка соответствует нулевой задержке)
         Если кнопка нажата то задержка, а значит и максимальный fps ограничивается автоматически в соответствии
         с пропускной способностью канала, к сожалению это понижает максимальный fps и увеличивает инпут лаг,
         однако это полностью решает проблему, которой страдают даже лучшие программы удаленного управления
         при недостаточной ширине канала. Если канал слишком узок (10Mbit и менее) то при значительной
         экранной активности (оконное видео или анимация) происходит потеря управления удаленным рабочим столом
         из-за того что новые кадры отправляются в буфер значительно быстрее, чем клиентская машина успевает их получить и отобразить,
         в результате чего даже нажатия кнопок отображаются с задержкой в несколько секунд.
         Тоже самое будет наблюдаться в uVS в сходных условиях если кнопка SYN не нажата.
         Поэтому SYN не рекомендуется отключать при значительной активности в кадре и узком канале.
         Если канал 100Mbit и выше (локальная сеть), используется DDA2 то можно выключить SYN и это сильно поднимет fps и значительно уменьшит инпут лаг.
         Кнопка SYN по умолчанию нажата, состояние кнопки сохраняется при выходе из uVS.
         Выбранная цветовая битность теперь тоже сохраняется.

       o В окно удаленной рабочего стола добавлена кнопка "MR" она позволяет управлять указателем мыши из удаленной системы,
         Функция работает ЕСЛИ кнопка нажата И курсор находится в пределах окна удаленного рабочего стола И это окно активно.
         Функция предназначена для тех случаев когда человеку на том конце проще показать проблему чем описать ее словами.

       o Теперь клиентская часть uVS автоматически завершается если удаленная система перезагружается, выключается или завершается сеанс пользователя.
         (только если открыто окно удаленного рабочего стола)

       o Значительно увеличена скорость переключения мониторов, рабочих столов и смены разрешения монитора в DDA режиме.
         (!) Однако есть побочный эффект: если новый монитор будет подключен к удаленной системе пока открыто окно рабочего стола,
         (!) то для отображения картинки с этого монитора необходимо будет закрыть/открыть окно или повторно выбрать метод захвата экрана.

       o Добавлена поддержка браузера Microsoft Edge.

       o Обновлена функция чтения и удаления расширений браузеров: Chrome, Yandex, Edge.
         Добавлены сайты с включенными уведомлениями с указанием времени активации уведомлений.
         Из окна информации о расширении удалено поле Extension_homepageURL за бесполезностью.
         Мусор оставшийся от старых расширений помечается как "файл не найден" и будет удален при вызове функции удаления ссылок на
         отсутствующие файлы.

       o Контекстное меню в окне редактирования критериев теперь тоже использует выбранный размер шрифта.

       o Улучшена совместимость с системами с малым количеством оперативной памяти.

       o Исправлена функция захвата экрана в GDI режиме.

       o Исправлена ошибка в функции чтения защищенных файлов, в некоторых случаях функция не могла получить доступ к файлу.

       o Исправлена ошибка в функции смены рабочего стола

       o Исправлены ошибки инициализации COM.

       o Исправлена ошибка из-за которой из списка проверки выпало 2 ключа автозапуска.

       o Исправлена ошибка в функции отката изменений (Ctrl+Z) при работе с образом.

       o Исправлена ошибка повторной инициализации захвата экрана в случае если рабочий стол был переключен пользователем или системой
         до повторного открытия окна удаленного рабочего стола.

       o Исправлена ошибка при открытии окна информации о компьютере.
         Добавлена дата релиза биоса, исправлено отображение объема физической памяти, добавлена расшифровка типа памяти и условное обозначение
         ее производительности.

       o Добавлена возможность открывать ключ реестра в regedit-е двойным щелчком по строке в логе или
         через контекстное меню.
         (!) Недоступно при работе с образом автозапуска.
       
×