Тест антивирусов на быстродействие (подготовка)

[moJo 0]

Ну что, когда ожидать результатов теста?

[alexgr 556]

в принципе тест в процессе. причем впервые - в нескольких ипостасях

[Valery Ledovskoy 1082]

  alexgr сказал:

причем впервые - в нескольких ипостасях

Т.е. параллельно идёт тестирование в нескольких местах для того, чтобы можно было сверить результаты?

Или всё же имеется в виду, что в нескольких видах? Тогда в каких?

[alexgr 556]

да, в нескольких местах+нестандартные конфигурации, которые ближе "домашникам". То есть некоторые из них

[Deja_Vu 366]

  alexgr сказал:

да, в нескольких местах+нестандартные конфигурации, которые ближе "домашникам". То есть некоторые из них

О-о это будет интересно.

[Alexey_Bratt 0]

селерончики селерончики ) будет жарко

[alexgr 556]

не только целерончики, но и атлончики, и пни 4

[moJo 0]

а core2?

[Alexey_Bratt 0]

По-моему core2 еще не слишком близок к "домашникам" Ну да, пользуются... но кол-во юзеров с целерончиками, атлончиками, пнюшками гораздо больше, чем везунчиков с двухядерниками Хотя присутствие в тестах core было бы не плохо

[moJo 0]

Можно было бы чисто из интереса потестировать qx9770 + 2/4 gb ddr3, но врятли у кого то из здесь присутствующих есть такая связка

[alexgr 556]

на более крутых конфигурациях тестят на других площадкахю Методики примерно одинаковы.

[Deja_Vu 366]

т.е. охват нас должен поразить? ((-

[alexgr 556]

я этого не говорил.

[Иван 290]

тупой вопрос, а вы задумывались как будете сводить все эти результаты?

этот тест на быстродействие проводится по куче различных параметров, один антивирус лучше по одним параметрам, другой по другим и какой считать лучшим?

ну можно просто представить таблицы и графики по разным параметрам, это оптимально скажем для меня, но многие жаждут распределения мест на пьдестале почёта, медалек и прочего - а их без сведения к единому знаменателю не будет...как быть

веса задавать - опять начнутся крики, что не так выставлены они

что авторы теста на эту тему думают? а вот Валерий Ледовской чего думает, например, об этой проблеме?

[Kokunov Aleksey 20]

По мне, так предлженная Валерием интегральная схема очень даже подойдет, тем более ее они довели до ума

[Valery Ledovskoy 1082]

  Иван сказал:

что авторы теста на эту тему думают? а вот Валерий Ледовской чего думает, например, об этой проблеме?

Здесь метод Саати, предложенный Александром Шабановым, вполне подойдёт. Но веса расставить прийдётся, конечно.

Один из моих студентов недавно обкатал этот метод в своей дипломной работе. Там мы ранжировали компьютеры, расположенные в локальной сети, по различным характеристикам железа и результатам некоторых тестов, запускаемых на компьютерах. Результаты получились вполне себе правдоподобными.

Не думаю, что этот метод годится для интегрального сравнения качества антивирусов в целом, т.к. там сильно расходятся экспертные мнения по важности различных характеристик антивирусов - каждый тянет одеяло на себя, что и понятно. Плюс ещё результаты тестов, на которых строится интегральная оценка, при ближайшем рассмотрении не блещут точностью и сильно зависят от исходных данных (коллекции, методологии и т.п.).

Но вот что касается быстродействия, то здесь метод иерархий Саати применить куда проще. Ведь мало у кого вызовет сомнение, что скорость работы real-time-защиты сильно важнее, чем скорость работы сканера, где больше важны его качества по лечению системы от вирусов, и сканировать можно вообще в ночное время, когда компьютер не загружен.

Как-то так.

  Kokunov Aleksey сказал:

По мне, так предлженная Валерием интегральная схема очень даже подойдет

Про какую Вы именно схему говорите? Использование линейной интерполяции? Да, здесь её можно применить для выставления баллов по каждой характеристике. А дальше - метод Саати.

Если кому интересно:

Книга Т. Саати "Принятие решений. Метод анализа иерархий.". Пер. с англ. Р.Г. Вачнадзе. М.: "Радио и связь", 1993, 278с., PDF, 4,37Мб:

http://ledovskoy.com/files/saati.rar

(осталась ещё эта книжка со времён обсуждения "интегрального теста").

[Сергей Ильин 1538]

  Иван сказал:

тупой вопрос, а вы задумывались как будете сводить все эти результаты?

этот тест на быстродействие проводится по куче различных параметров, один антивирус лучше по одним параметрам, другой по другим и какой считать лучшим?

У нас в итоге получаются рейтинг антивирусов по следующим параметрам:

1. Время загрузки ОС

2. Потребляемая память и загрузка процессора

3. Время копирования файлов (+ память и загрузка процессора)

4. Время сканирования (+ память и загрузка процессора)

5. Время запуска 4 различных офисных программ.

6. Время скачивания файла по сети.

7. CPU tests

8. 3d tests

9. Memory tests

10. Compression (Kbytes/sec)

11. Encryption (KBytes/sec)

Все результаты будут рассчитаны в % от эталона, т.е. чистой машины.

*Бонус - время повторного сканирования.

Самый просто вариант - среднее арифметическое по занимаемым местам по каждому из 11 параметром, но мне не вполне нравится этот метод. Если брать веса, то гарантировано найдутся люди, которые будут говорить, что веса надо было брать не такие. Да и в целом система весов сильно усложнит понимание результатов теста, мне это также не нравится.

Есть другой вариант. Критериев сликом много. Предлагаю разбить параметры на группы в соответствие с поставленной задачей (что мы мереем?). Т.е. у нас будут следующие группы параметров:

1. скорость работы монитора (3. Время копирования файлов (+ память и загрузка процессора))

2. скорость работы сканера (4. Время сканирования (+ память и загрузка процессора))

3. нагрузка на ОС (1. Время загрузки ОС, 2. Потребляемая память и загрузка процессора, 5. Время запуска 4 различных офисных программ, 6. Время скачивания файла по сети.).

Внутри этих групп делаем среднее арифметическое. По каждой группе будут свои лидеры и свои медали. Все, просто и понятно как раз для прессы и юзеров. Остальные параметры приведем в отчете для глубинного понимания профи, которые это все просили

Естественно, отдельные выводы будут по всем параметрам, постараемся расписать подробно.

P.S. Сколько неожиданных результатов ... готовьтесь друзья

  Valery Ledovskoy сказал:

Если кому интересно:

Книга Т. Саати "Принятие решений. Метод анализа иерархий."

Валера, за ссылочку спасибо!

[Kokunov Aleksey 20]

  Сергей Ильин сказал:

P.S. Сколько неожиданных результатов ... готовьтесь друзья

заинтриговали!

Ну и когда же?

[Сергей Ильин 1538]

  Kokunov Aleksey сказал:

Ну и когда же?

По сути осталось только обработать данные, это не так долго, но работы тоже не маленькая. На следующей неделе опубликуем.

[cander 15]

Вот интересно зачем именно данный тест проводится? Просто ещё такого не было или много людей говорит, что Каспер тормозит.... ну и нудно доказать обратное?

[Александр Шабанов 120]

  cander сказал:

Вот интересно зачем именно данный тест проводится? Просто ещё такого не было или много людей говорит, что Каспер тормозит.... ну и нудно доказать обратное?

Потому что производительность - это один из основных компонентом любого программного продукта. Что касается антивирусного программного обеспечения, я выделяю три основные группы критериев - уровень защиты, производительность, эргономика, разве не так?

Данное исследование покажет количественные показатели для критериев из группы - производительность, при выборе антивирусного продукта практически всегда бывает так, что лучшими по уровню защиты (эргономики) будут целая группа программных комплексов, дальше в принятии решения как раз и будут принимать показатели полученные в этом исследовании. А возможно для кого-то производительность качественно является наиболее приоритетным критерием, такие примеры тоже есть и не мало. К чему я это? К тому, что показатели полученные в этом тесте помогут принять решение в выборе антивирусного продукта в совокупности с другими показателями, причем хочу еще раз заметить это высокоуровневый критерий и его покрытие, по-моему является очень логичным шагом.

Ваши же доводы мне кажутся совершенно поверхностными и нелогичными, а также направлены на разжигание споров неотносящихся по-существу к теме, Вам так не кажется? Или Вы действительно думаете так, как написали? А вообще разовое исследование не может быть доказательство чего-либо и вообще на это не направлено, скорее это "пища для ума", даже серия однотипных исследованиях скорее говорит о тенденциях, нежели быть аксиомой.

[alexgr 556]

  cander сказал:

Вот интересно зачем именно данный тест проводится?

лучшая характеристика любого продукта - не только антивирусного -скажем (название условное) нагрузочное число. Вот его и будем выводить

[drongo 25]

Я прочитал предложенное Сергей Ильин и подумал, что тестировался запуск 5 программ ( не выбрасывать же данные по пятой, хотя она не совсем офисная )

И ещё сделать под-категорию- The quicker full http monitor.( Не у всех продуктов он есть( имеется ввиду что есть мониторинг порта 80 и остальных на зловредов, а не только чёрный список сайтов.Интересно будет построить график именно тех у кого он есть )

[cander 15]

  Alexandr Shabanov сказал:

Потому что производительность - это один из основных компонентом любого программного продукта. Что касается антивирусного программного обеспечения, я выделяю три основные группы критериев - уровень защиты, производительность, эргономика, разве не так?

Так то так, но уровень защиты куда важнее. А эти тесты начали проводить уже после теста на производительность. Хотя после постов Джона и наездов НОДа просматривается отношения данного портала к одному из росийских АВ-вендоров. И смена темы Антивирус Касперского тогмозит на Антивирус Касперского тогмозит. Миф развенчан тоже как-то странно видится. Это я просто свою точку зрения написал. Возможно она не верна. А тесты все равно нужны и интересны.

  Alexandr Shabanov сказал:

Ваши же доводы мне кажутся совершенно поверхностными и нелогичными, а также направлены на разжигание споров неотносящихся по-существу к теме, Вам так не кажется? Или Вы действительно думаете так, как написали?

Ну конечно я так думаю раз написал. Может Вы и правы. Все равно результаты тестов выйдут после интервью с Касперским.

З.Ы. Я не разжигаю споров, просто это моё альтернативное мнение. Да и к Касперу хорошо отношусь и за Гостева жалко.

[Deja_Vu 366]

to cander

понимаете ли ... ваш пост вообще относится к разряду троллевского, что сразу попадает под наказание, потому что:

- "обидный" тезис имеет конкретного адресата

- приводится не обоснование, почему тест не нужен, а просто высказывание что он не нужен (хоть и в виде вопроса) с вызовом к окружающим переубедить вас.