Тест антивирусов на быстродействие (подготовка)

[Valery Ledovskoy 1082]

система должна проверяться по многим параметрам, и точность огня и скрость развертывания проводились в одном ряду с многими, абсолютно непонятными сначала тестами. Но в результате получалась некая интегральная характеристика...

Очень интересно знать, какая методика использовалась для подсчёта "интегральной характеристики" в этом случае? Не верю, что всё в кучу мешалось без весов различным характеристикам и без _обоснованной_ методики, ибо так и до трибунала можно было добраться. Секунды на развёртывание складывались с точностью огня? Да у них даже размерности разные.

Выставляете баллы? Хорошо. Тоже можно. Но характеристики разные, распределения у них тоже получатся разными по результатам теста. Соответственно, баллы нужно выставлять в соответствии с распределениями характеристик. Плюс, опять же, веса потом на характеристики навесить. Тогда можно что-то интегрировать и увидеть общую объективную картину. Как веса расставить? Да голосование пятидневное провести среди людей, которые достаточно долго на портале. Объяснить, что за голосование и что от него зависит. Плёвое дело по сути. Нет, надо бежать куда-то.

Возможностей-то куча на самом деле. И все доступны.

[Николай Головко 70]

За превосходное знание русского мата пользователь Dexter награждается предварительной модерацией сообщений в течение 1 календарного месяца.

[Umnik 997]

Вроде обсуждали-обсуждали, что это будет тест быстродействия, а не все-в-одном (как и все остальные), однако ж все равно это многим не нравится. Тесты разные нужны, тесты разные важны. VB тоже такой весь унылый, однако живой. Ага, потому что популярен в ничего не понимающих массах. Только сути это не меняет, ибо постоянные провалы по более чем 3-м семплам, это вполне себе показатель эффективности работы. И ступор ПК, долгая загрузка ОС, мат-перемат пользователя - тоже весомый аргумент для энд-юзера.

Не жду, но ожидаю кучу печенюшек и осуждение глупости представителя администрации. Надеюсь, сего не будет.

[dot_sent 140]

Вроде обсуждали-обсуждали, что это будет тест быстродействия, а не все-в-одном (как и все остальные), однако ж все равно это многим не нравится. Тесты разные нужны, тесты разные важны.

Никто не спорит с тем, что тесты разные нужны и важны, вроде бы. Но если уж витает в воздухе идея проведения если не интегрального теста, то интегральной оценки на основании нескольких тестов, то почему бы не представить итоговые данные этого парциального теста в виде, удобном для сведения в некоторой будущей интегральной оценке?

Более того, можно просто выдать итоговые данные в двух формах - одна, более точная, предназначенная для профи и для будущих интегральных оценок, и, допустим, та же балльная оценка антивирусов - для публикации в прессе (Интернете) конкретно этого теста. Естественно, обе формы вывесить в паблик, чтобы потом не было вопросов. И волки целы, и овцы сыты. Ы?

[alexgr 556]

Секунды на развёртывание складывались с точностью огня? Да у них даже размерности разные.

я ведь не зря на стандарт сослался. Каждый оцениваемый параметр существует сам по себе. Да, строится характеристика распределения и только . То есть интегральная характеристика в данном случае не в баллах представлялаь. А по каждому сравнивалась с образцом эвентуального противника.

К примеру - большинство россиян уверены, что ЗРС "Фаворит" превосходит "Пэториот". В баллах считали? нет. В дальности? нет. В количесве единиц радиоэлектронной/радиотехнической техники. Нет. Потому что сказали по ящику. А те сказали потому, что сидели дяди и сравнивали - по каждому отдельному параметру. И здесь самым правильным был бы именно такой подход.

Поэтому - можно и "голые" цифры представить. Потому что эндюзер Петро Педерашко верит не тесту, а Васе Педалькину, который у них в авторитете. А зампред банка будет главной характеристикой считать это самое быстродействие, поскольку очередь у касс его банка его лично пугает - ведь устанут ждать и побегут напротив, а это нельзя никак допустить! И каким методом спецы лепили баллы (да и лепили ли) его не возбуждает. Но вдуть нерадивого админа, который купил сей продукт - это уж как полагается. И админ не будет ссылаться на Клементи или Маркса или там на меня - ему тут же скажут, что фамилии родственников называть не надо, надо уметь отвечать за себя и за потраченные банком деньги и что это не игрушка. А вот за "откат" от вендора можно и пострадать....

Последнее - зарисовки из жизни

[Valery Ledovskoy 1082]

Более того, можно просто выдать итоговые данные в двух формах - одна, более точная, предназначенная для профи и для будущих интегральных оценок, и, допустим, та же балльная оценка антивирусов - для публикации в прессе (Интернете) конкретно этого теста.

Вполне себе предложение. Есть ещё один вариант, который вроде бы здесь уже предлагали, и если правильно помню, то Сергей Ильин так и собирается делать. Проранжировать антивирусы по каждой из характеристик этого теста, и не выводить интегральную характеристику быстродействия. Так-то оно будет хорошо, но средний читатель статьи тогда будет задавать вопросы по поводу того, так какой же антивирус в целом быстрее? В этом случае мы ему ничего ответить не сможем, а та мысль, что по одной характеристике кто-то один быстрее, а по другой - кто-то другой быстрее, а победителей теста в целом как таковых нет, для него может оказаться слишком сложна для понимания.

alexgr , спасибо за последний пост. Так оно обычно и есть в реальности. Но думаю также, что целевая аудитория этого теста не банковские админы, которые и сами в состоянии провести тесты, которые им нужны, а пользователи попроще.

[EYE 59]

Да, кстати, вспомнил о том, что мне так и не ответили

на недавний вопрос о способе измерения скорости, заданный еще в процессе тестирования.

Поэтому повторю его еще раз -

Как проводились измерения скорости - "с секундомером в руках", или все-таки:

Все замеры по копированию и сканированию лучше проводить при помощи специально написанных батничков, а не с секундомером в руках. Так точнее будет

?

[alexgr 556]

батником, по параметру time

[Сергей Ильин 1538]

Тест совершенно бесполезный, ничего не показывающий и никому, кроме портала не нужный (пеар, пеар, чтоб на цньюс напечатали). А как движки у вендоров работают вы вообще в курсе, хотя бы приблизительно? А что и как они распаковывают, как далеко доходит эмулятор, в чем разница между эмуляторами с динамической трансляцией и без?

Это предмет других тестов, мы здесь сравниваем скорость работы. Если кто-то загнал в свой продукт продвинутый эмулятор, который притормаживает тачку раза так в 2, то это отвественность разработчиков и маркетинга этого вендора. Вероятно, они считают, что людям на тормоза наплевать. Пусть так, люди посмотрят результаты этого теста и разберутся, сравнят детект продуктов, посмотрят на самозащиту, лечение, на проактивку глянут ... все встанет на свои места.

[Олег Гудилин 95]

P.P.S. Ну если только вот каспер 8-9 в [***]..., то не удивлюсь. Поскольку он лично у меня начал тормозить через две недели и я его грустно снес с рабочей машины. Ох, это судьба.

Dexter, что ж у Вас за руки за такие, ну совсем ничем пользоваться не умеете

Ну ничего, Олег Гудилин Вам поможет

Я надеюсь, что он мне и понятия с мОзгами вправит.

Конечно вправит

А то смущаете сообщество, покушаетесь на святое, понимаешь ли...

Да еще и в преддверии результатов теста

EYE, товарищ Dexter всем прекрасно умеет пользовать. А вправить я ему ничего не смогу, поскольку он слишком старый и умный для этого. О чем свидетельствует его внезапный выход из подполья после кодовой фразы

Так что удачи на дорогах

[Сергей Ильин 1538]

Что же касается подсчета результатов теста, то рекомендую прочитать мой пост выше, он остался без ответов, а зря. Проблема в том, что мы не сможем сделать точную и понятную интегральную оценку по всем измеряемым параметрам. Большинство из них интересны только технарям и разработчикам тестируемых антивирусов.

Я не зря предложил выделить 3 группы параметром. В результате мы получим 3 рейтинга: быстрый монитор, быстрый сканер, минимальная нагрузка на ОС. По каждому рейтингу дадим медали и отметим победителей. Бенефиты очевидны: результаты будут понятны всем, даже домохозяйкам; методику подсчета результатов будет сложно критиковать, так как не будет весов и сложных мат. методов; результаты можно будет легко учесть в интегральном тесте.

Замечания?

[Valery Ledovskoy 1082]

3. нагрузка на ОС (1. Время загрузки ОС, 2. Потребляемая память и загрузка процессора, 5. Время запуска 4 различных офисных программ, 6. Время скачивания файла по сети.).

Обратил я внимание на этот пост. Вот возьмём третий параметр - "загрузка на ОС". Как будем считать его? Суммировать баллы? Ок, каким образом будут выставляться баллы? Как и раньше, на глазок, или всё же обоснованно? Домохозяйкам достаточно сказать, что 5 баллов - за такой-то показатель, 4 балла - за такой, 3 - за такой и т.д. И совсем необязательно говорить, почему (да оно так и делается, в общем-то). Но для интересующихся, как мне же кажется, значения этих отрезков для каждого балла должно быть чем-то обосновано. Не обязательно вдалбливать это обоснование домохозяйкам, а так, хотя бы для собственного удовлетворения, чтобы оно было.

результате мы получим 3 рейтинга: быстрый монитор, быстрый сканер, минимальная нагрузка на ОС.

Хорошее начинание. Но внутри каждого из этих 3 супер-параметров есть другие параметры, баллы по каждому из которых нужно пронормировать, чтобы они были равноценными. Опять же, обосновать.

методику подсчета результатов будет сложно критиковать, так как не будет весов и сложных мат. методов;

Т.е. методику будет сложно критиковать, потому что её нет?

Помнится, парламент одной из стран как-то принимал закон о том, что число "пи" равно четырём. Тоже вот боролись за простоту понимания

[Сергей Ильин 1538]

Обратил я внимание на этот пост. Вот возьмём третий параметр - "загрузка на ОС". Как будем считать его? Суммировать баллы? Ок, каким образом будут выставляться баллы? Как и раньше, на глазок, или всё же обоснованно? Домохозяйкам достаточно сказать, что 5 баллов - за такой-то показатель, 4 балла - за такой, 3 - за такой и т.д. И совсем необязательно говорить, почему (да оно так и делается, в общем-то). Но для интересующихся, как мне же кажется, значения этих отрезков для каждого балла должно быть чем-то обосновано. Не обязательно вдалбливать это обоснование домохозяйкам, а так, хотя бы для собственного удовлетворения, чтобы оно было.

Что значит на глазок? Начнем с того, что результаты каждого антивируса будут отнормированы по эталону. Т.е. я предлагаю сравнивать % торможения относительно чистой системы, без антивирусного ПО. Затем принимаем худший результат за 0 баллов, эталонный (отсутствие торможения) - за 5 баллов. В итоге по каждому параметру имеем "прогрессивную систему" баллов с точность до 0.01, далее суммируем полученные баллы по всем параметрам группы, все. Подойдет такой вариант?

Но для интересующихся, как мне же кажется, значения этих отрезков для каждого балла должно быть чем-то обосновано.

Отрезков больше не будем делать, это увеличивает погрешность оценки

При описанном мной выше подходе остается только 1 проблема - раздача медалей. Например, максимальной торможение сканера, тянущее на Gold - это сколько? Здесь придется уже смотреть итоговые таблицы и определять границы. Пожалуй, вынесу этот вопрос на рассмотрение экспертного совета.

[Deja_Vu 366]

Фора и так есть при "прогонке" всей коллекции тестовых "чистых" файлов,

установочных пакетов, и т.д. Или Вы думаете, что не сразу реагирующий

на malware монитор, будет по-другому работать на тестовой подборке "чистых" файлов ?

Фора когда различные условия ... когда условия равные ... форы никакой нет.

[Deja_Vu 366]

Т.е. методику будет сложно критиковать, потому что её нет?

Помнится, парламент одной из стран как-то принимал закон о том, что число "пи" равно четырём. Тоже вот боролись за простоту понимания

А зачем выводить комплексную оценку по трем этим характеристикам, что она даст?

По моему скромному мнению - ничего. -))

[Valery Ledovskoy 1082]

Что значит на глазок? Начнем с того, что результаты каждого антивируса будут отнормированы по эталону. Т.е. я предлагаю сравнивать % торможения относительно чистой системы, без антивирусного ПО. Затем принимаем худший результат за 0 баллов, эталонный (отсутствие торможения) - за 5 баллов. В итоге по каждому параметру имеем "прогрессивную систему" баллов с точность до 0.01, далее суммируем полученные баллы по всем параметрам группы, все. Подойдет такой вариант?

О, я вижу, что говорил всё не впустую, это не может не радовать. Да, для расставления баллов вполне пойдёт.

При описанном мной выше подходе остается только 1 проблема - раздача медалей. Например, максимальной торможение сканера, тянущее на Gold - это сколько? Здесь придется уже смотреть итоговые таблицы и определять границы. Пожалуй, вынесу этот вопрос на рассмотрение экспертного совета.

Вот, а об этом я уже писал. Нужно смотреть на итоговые результаты и их распределение. Т.е. равномерно ли будут распределены результаты от наихудшего до наилучшего. Если равномерно, то и медали так же выдавать, через равномерные промежутки баллов (которые вычислены с точностью 0.01). Если же есть смещение результатов куда-то ближе к лучшему или ближе к худшему результату, то, соответственно, границы баллов, необходимые для получения медалей нужно смещать в ту или другую сторону.

Правда, медали у нас выдаются по совокупности параметров. Поэтому каждый из этих параметров, от которых зависит медаль, должен быть пронормирован исходя из распределения результатов, полученных по каждому параметру. Может быть, кто-то может что-то добавить? А то похоже на то, что я тут с мельницами воюю

[Сергей Ильин 1538]

О, я вижу, что говорил всё не впустую, это не может не радовать. Да, для расставления баллов вполне пойдёт.

Ну естественно, не в пустую Мы тут и ведем обсуждение для того, чтобы сделать тесты лучше.

Вот, а об этом я уже писал. Нужно смотреть на итоговые результаты и их распределение. Т.е. равномерно ли будут распределены результаты от наихудшего до наилучшего. Если равномерно, то и медали так же выдавать, через равномерные промежутки баллов (которые вычислены с точностью 0.01). Если же есть смещение результатов куда-то ближе к лучшему или ближе к худшему результату, то, соответственно, границы баллов, необходимые для получения медалей нужно смещать в ту или другую сторону.

Согласен, так и сделаем.

Правда, медали у нас выдаются по совокупности параметров. Поэтому каждый из этих параметров, от которых зависит медаль, должен быть пронормирован исходя из распределения результатов, полученных по каждому параметру.

Я думаю не стоит в этом тесте все сводить к одному набору медалей. Пусть будут медали за самый "быстрый сканер", "самый легкий ав-монитор" и "минимальную нагрузку на ОС", т.е. 3 набора наград.

[dr_dizel 385]

батником, по параметру time

Может perfmon.exe?

[alexgr 556]

1. Не думаю, поскольку нас интересует только временной параметр, 2. Батник устанавливает переменную и запускает нужное копирование, потом возвращает - по окончанию копирования второе значение. просто и красиво, погрешность минимальна, 3. Переделывать уже поздно

[Александр Шабанов 120]

Итак, рискну продолжить разговор

Цитата(Сергей Ильин @ 28.07.2008, 12:49) *

Что значит на глазок? Начнем с того, что результаты каждого антивируса будут отнормированы по эталону. Т.е. я предлагаю сравнивать % торможения относительно чистой системы, без антивирусного ПО. Затем принимаем худший результат за 0 баллов, эталонный (отсутствие торможения) - за 5 баллов. В итоге по каждому параметру имеем "прогрессивную систему" баллов с точность до 0.01, далее суммируем полученные баллы по всем параметрам группы, все. Подойдет такой вариант?

О, я вижу, что говорил всё не впустую, это не может не радовать. Да, для расставления баллов вполне пойдёт.

Согласен для определения качественных непрерывных показателей хороший вариант.

Правда, медали у нас выдаются по совокупности параметров. Поэтому каждый из этих параметров, от которых зависит медаль, должен быть пронормирован исходя из распределения результатов, полученных по каждому параметру. Может быть, кто-то может что-то добавить? А то похоже на то, что я тут с мельницами воюю

У нас есть три основных этапа:

1. Снятие абсолютных показателей.

2. Вычисление качественных показателей относительно идеала.

3. Анализ полученных результатов и принятие решения.

Первые два пункта вроде разобраны, делается все довольно просто.

Что касается третьего пункта, то соображения у меня следующие:

1) Выделить группы критериев как предлагает Сергей, например "быстрый сканер", "самый легкий ав-монитор" и "минимальную нагрузку на ОС"

2) Далее необходимо раздать награды.

Самым объективным способом в таком случае, по-моему мнению, будут не распределение по результату и определение границ, а использование метода Парето, то есть выбор наилучшего решения, я думаю многие с ним знакомы и сводиться он к очень простым операциям для определения группы наилучших решений:

1) Отсеиваются все решения, которые имеют показатели хуже по всем критериям.

2) Далее остаются решения, которые лучше всех по одному показателю, но хуже по другому. Они как раз и будут наилучшим выбором (множеством наилучших решений). Им стоит дать наивысшие медали (Gold). Для определения лучших из лучших уже необходимы веса важности для каждого параметра, а это уже совсем другая песня, и я думаю пользователь их сможет расставить сам.

3) Что касается остальных медалей более низкого уровня, то берется подмножество отсеянное в п.1 и производиться следующая итерация для получения наград Silver. Для бронзовых наград еще одна итерация.

В итоге мы получим как раз эшелонированность (4 эшелона), причем неплохо обоснованную.

Что скажете?

Что касается общих наград (сравнение между выделенными группами критериев), то здесь уже по-любому необходимы приоритеты важности для каждого критерия, а также функция свертки, и это уже довольно нетривиально и требует очень большого количества времени дополнительно, вообщем по мне этот этап - "овчина не стоит выделки".

[Valery Ledovskoy 1082]

Я думаю не стоит в этом тесте все сводить к одному набору медалей. Пусть будут медали за самый "быстрый сканер", "самый легкий ав-монитор" и "минимальную нагрузку на ОС", т.е. 3 набора наград.

Так я не спорю на счёт трёх комплектов Я про то говорил, что каждый комплект строится на основе нескольких суб-параметров.

[Иван 290]

а можно будет опубликовать сначала простые абсолютные показатели и их графики, без всяких там прогрессивных шкал и эталонов?

чтобы я и другие видели: что вот такое значение без антивиря, вот такое с конкретным антивирем.

а дальше делайте какие хотите шкалы, раздавайте медали и прочее - это нужно только для пеара результатов

мне лично и многим другим нужны только цифры в секундах минутах и мегабайтах

[Valery Ledovskoy 1082]

Alexandr Shabanov, да согласен. Думаю, описанный Вами подход оптимален. Парето здесь вполне подойдёт. Но в результатах обязательно нужно будет указать количественные показатели (в секундах и других единицах измерения), затем обязательно в баллах, а потом вывод на основе метода Парето.

а можно будет опубликовать сначала простые абсолютные показатели и их графики, без всяких там прогрессивных шкал и эталонов?

Думаю, от этого здесь никуда не уйти.

[Александр Шабанов 120]

Но в результатах обязательно нужно будет указать количественные показатели (в секундах и других единицах измерения), затем обязательно в баллах, а потом вывод на основе метода Парето.

Естественно, в материале должно быть как минимум три раздела:

1) Описание тестовой среды и методологии.

2) Абсолютные показатели и их интерпретация в графическом виде (плюс относительная интерпретация).

3) Надстройка - анализ результатов.

Это логично, так как я писал уже выше данное исследование делается в несколько этапов и результат каждого достоен войти в конечный материал, к тому же от этого не убудет

P.S. Если в группах будет не больше 3х критериев, то отбор по Парето очень удобно представлять в графическом виде.

[Valery Ledovskoy 1082]

P.S. Если в группах будет не больше 3х критериев, то отбор по Парето очень удобно представлять в графическом виде.

Я уже хочу видеть результаты

Насколько важны они в интегральной оценке антивируса - время покажет. Но на таких вот "простых" тестах можно обкатывать методологию более "болезненных" для вендоров тестов, и я вижу позитивные подвижки в этом плане.