Тест av-comparatives.org на качество обнаружения (август 07)

[K_Mikhail 807]

Значит получается, что бета Dr.Web хуже релиза Dr. Web? Я правильно понял?

Mr. Justice, попробуйте поставить себе бету 4.44 и самому проверить её работоспособность. А потом поделитесь впечатлениями - она хуже или лучше релиза 4.33. Тем паче, что буквально недавно было обновление в бета-области.

Или на данный момент времени вам важнее обыграть Валерия в словесно-философской казуистике терминов и понятий, пытаясь поймать его на слове?

[Mr. Justice 771]

Mr. Justice, попробуйте поставить себе бету 4.44 и самому проверить её работоспособность. А потом поделитесь впечатлениями - она хуже или лучше релиза 4.33. Тем паче, что буквально недавно было обновление в бета-области.

На Linux она встанет? Да и что это даст. Смогу, я скажем, оценить уровень детекта? Если нужно проверить ее работоспособность и стабильность, то, и в этом нет никакой необходимости.

Или на данный момент времени вам важнее обыграть Валерия в словесно-философской казуистике терминов и понятий, пытаясь поймать его на слове?

Это был ответ на провокацию . Больше ну буду.

[alexgr 556]

применение андреасом Клементи среди всего списка продуктов беты только снижает ценность теста. 1. Это некорректно в целом - см. мой пост выше; 2. Сравнение нерелизной версии, а тем более беты (в которой может быть сколько угодно глюков) с релизными - неэтично, какими бы благими намерениями это не оправдывалось; 3. Исходя из беты - то есть отработки версии - может быть, что текущая, примененная бета может быть хуже релизной из-за самого статуса беты версии.

Тепрь представим себе ситуацию, что вместо 4.44 выйдет 5.0. Вендор вправе сделать это, поскольку версия существовала в бете. И все знают, что такие примеры были, когда вендор отказывался продолжать бету до релиза. Ценность теста?

[Mr. Justice 771]

применение андреасом Клементи среди всего списка продуктов беты только снижает ценность теста. 1. Это некорректно в целом - см. мой пост выше;

В данном случае общее правило неприменимо. См. выше.

3. Исходя из беты - то есть отработки версии - может быть, что текущая, примененная бета может быть хуже релизной из-за самого статуса беты версии.

Почему ее уже давно советуют на форуме Dr. Web? В том числе официальные лица.

Тепрь представим себе ситуацию, что вместо 4.44 выйдет 5.0. Вендор вправе сделать это, поскольку версия существовала в бете. И все знают, что такие примеры были, когда вендор отказывался продолжать бету до релиза. Ценность теста?

На форуме уже не раз говорилось что этого не произойдет. У мент оснований не доверять этому.

[Valery Ledovskoy 1082]

Значит получается, что бета Dr.Web хуже релиза Dr. Web? Я правильно понял?

Значит это именно то, что я написал.

На пути бета-тестирования продукта бета может быть и лучше, и хуже предыдущего релиза на разных этапах бета-тестирования. Клементи попал на неудачный период.

Какую, по Вашему мнению версию беты должны были использовать, чтобы результаты были "оптимальными"?

Любую, но не вставлять её в основную таблицу.

Скажите когда лучше использовать 4.33, а когда 4.44.

4.44 лучше использовать, если нужна Windows Vista, и от неё никак не избавиться. 4.44 лучше использовать при активном заражении. Хотя при активном заражении можно просканировать бетой CureIt!, не снося релизную версию.

[Mr. Justice 771]

Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

[Valery Ledovskoy 1082]

Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

Это вопрос политический и философский. Мы готовы участвовать в любых тестированиях, в т.ч. и непрофессиональных даже - это на пользу популяризации наших продуктов. Но. Результаты тестирования можно и покритиковать - одно с другим не связано. Полностью доверяем мы только тем результатам, которые сами можем повторить.

[Mr. Justice 771]

Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

Это вопрос политический и философский. Мы готовы участвовать в любых тестированиях, в т.ч. и непрофессиональных даже - это на пользу популяризации наших продуктов. Но. Результаты тестирования можно и покритиковать - одно с другим не связано. Полностью доверяем мы только тем результатам, которые сами можем повторить.

Мне представляется что эти результаты не способствуют росту популяности продукта.

И так хотелось бы еще раз получить четкие ответы на следующие вопросы:

1. Почему официальные лица предлагают использовать бета версию антивируса от Dr.Web вместо существующего релиза? Бета действительно лучше релиза? Или все зависит от версии релиза?

2. В чем заключается неудачность протестированной бета версии и каким образом было определно что эта версия действительно не удачная?

3. Почему Dr.Web постоянно участвует в тестировании продукта и постоянно при этом критикует методику и результаты...?

[Valery Ledovskoy 1082]

Мне представляется что эти результаты не способствуют росту популяности продукта.

Данного конкретного тестирования - да. Но были тестирования, где Dr.Web показывал себя лучше Касперского, у того же Клементи. (тестирование эвристики, насколько я помню).

1. Почему официальные лица предлагают использовать бета версию антивируса от Dr.Web вместо существующего релиза?

Потому что она работает под Windows Vista, потому что она лучше противодействует активному заражению. Таким образом, предлагают эти официальные лица не во всех случаях и с оговорками.

Бета действительно лучше релиза?

Текущие компоненты, которые находятся в бете - да.

2. В чем заключается неудачность протестированной бета версии и каким образом было определно что эта версия действительно не удачная?

Неудачность заключалась в падении на многих сэмплах или же неправильном сканировании. Проблема была в связке компонентов сканер+шилд. Определено, что версия была неудачная, просто. Клементи в таблице указал версии билдов компонентов. Как определить, что эти билды были с проблемами? Просто. Достаточно поизучать багтрекер.

3. Почему Dr.Web постоянно участвует в тестировании продукта и постоянно при этом критикует методику и результаты...?

1. Критикуем постоянно, но не всегда. Бывают и адекватные результаты.

2. Тестирование - это реклама. А если тестирование превращается в антирекламу из-за того, что было проведено некорректно, то тут в самую пору и повозмущаться.

[Mr. Justice 771]

Данного конкретного тестирования - да. Но были тестирования, где Dr.Web показывал себя лучше Касперского, у того же Клементи. (тестирование эвристики, насколько я помню).

Это не довод. Dr. Web по большинству показателей

выглядит хуже других продуктов. В тесте на эвристик продукт показывает себя не с лучшей стороны по причине большого количества ложных срабатываний.

1. Почему официальные лица предлагают использовать бета версию антивируса от Dr.Web вместо существующего релиза?

Потому что она работает под Windows Vista, потому что она лучше противодействует активному заражению. Таким образом, предлагают эти официальные лица не во всех случаях и с оговорками.

В то то и дело что бету предлагают использовать на XP и зачастую без оговорок.

Текущие компоненты, которые находятся в бете - да.

.

Были ли версии которые уступают релизу в плане детекта? И нужно ли все-таки предлагать клиенту нестабильный продукт?

Неудачность заключалась в падении на многих сэмплах или же неправильном сканировании. Проблема была в связке компонентов сканер+шилд. Определено, что версия была неудачная, просто. Клементи в таблице указал версии билдов компонентов. Как определить, что эти билды были с проблемами? Просто. Достаточно поизучать багтрекер.

Все это говорит лишь о нестабильности данной версии, но не дает основания утверждать что с детектом есть проблемы. Или я не прав?

1. Критикуем постоянно, но не всегда. Бывают и адекватные результаты.

2. Тестирование - это реклама. А если тестирование превращается в антирекламу из-за того, что было проведено некорректно, то тут в самую пору и повозмущаться.

Я ответил на это выше. ...

[Valery Ledovskoy 1082]

В то то и дело что бету предлагают использовать на XP и зачастую без оговорок.

Значит, они не правы, кто предлагает без оговорок.

И нужно ли все-таки предлагать клиенту нестабильный продукт?

Иногда это единственный выход.

Все это говорит лишь о нестабильности данной версии, но не дает основания утверждать что с детектом есть проблемы. Или я не прав?

Это была комплексная проблема, и на детект она влияла тоже.

[Mr. Justice 771]

В то то и дело что бету предлагают использовать на XP и зачастую без оговорок.

Значит, они не правы, кто предлагает без оговорок.

И нужно ли все-таки предлагать клиенту нестабильный продукт?

Иногда это единственный выход.

Все это говорит лишь о нестабильности данной версии, но не дает основания утверждать что с детектом есть проблемы. Или я не прав?

Это была комплексная проблема, и на детект она влияла тоже.

Все ясно. Думаю что нужно дискуссию прекратить до лучших времен. Спасибо всем.

[Артём 0]

А меня удивляют результаты Нортона! Ведь по отзывам с конференций данной тематики дела с детектом в реальной жизни не такие красивые!?? :roll:

[Valery Ledovskoy 1082]

Все ясно. Думаю что нужно дискуссию прекратить до лучших времен.

Просто тема беты не должна быть основной в обсуждении тестирования, основная часть продуктов в котором были релизными. А возникла она только лишь благодаря некорректности выбора Клементи продуктов для тестирования.

А меня удивляют результаты Нортона!

А это уже к вопросу о репрезентативности подборки сэмплов для тестирования.

[Иван 290]

А меня удивляют результаты Нортона! Ведь по отзывам с конференций данной тематики дела с детектом в реальной жизни не такие красивые!?? :roll:

Ничего удивительного Артем, коллекция клименти большая, но застарелая. Т.е. большая часть вирья в ней появилась уже давно. А Симантек славится тем, что хоть и добавляет в базу весьма неоперативно, но зато добавлять старается все по максимуму.

В итоге на коллекции клименти хороший результат.

А вы вот сравните с результатами на коллекции Маркса (AV-Test), у него в коллекции только вирье попадавшееся за последние полгода, в том числе и самый свежак. В итоге лучше те, кто реагирует быстрее, а Симантек сильно ниже.

[alexgr 556]

Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

хотел бы обратить внимание, что сейчас критикуется не методика, а выбор продукта. Это не одно и то же. Поскольку здесь даже не родукт, а его одна из бет. Полагаю, объяснять разницу между релизным продуктом и бетой снова здесь не надо?

[Иван 290]

А это уже к вопросу о репрезентативности подборки сэмплов для тестирования.

Доктор Веб показывает себя одинаково и у Клименти и у Маркса. Т.е. результат одинаков на двух коллекциях, собираемых по разным методикам.

[Valery Ledovskoy 1082]

Доктор Веб показывает себя одинаково и у Клименти и у Маркса. Т.е. результат одинаков на двух коллекциях, собираемых по разным методикам.

Я отвечал на фразу о Нортоне. Не нужно переводить тему. Предлагаю пообсуждать и результаты других антивирусов у Клементи, ибо уже зациклились.

Если кратко, то с репрезентативностью выборки сэмплов для тестирования у всех проблемы - в большей или меньшей степени.

Задача отбора сэмплов - весьма сложный и неоднозначный процесс. И, конечно, субъективный.

Ничего удивительного Артем, коллекция клименти большая, но застарелая.

Как так? Клементи же утверждает, что берутся только сэмплы, появившиеся за последние полгода.

[alexgr 556]

Доктор Веб показывает себя одинаково и у Клименти и у Маркса. Т.е. результат одинаков на двух коллекциях, собираемых по разным методикам.

но любовь к немецким продуктам одинаковая Видимо, поддержка национального производителя

Добавлено спустя 39 секунд:

или одинковое имя влияет? :wink:

[Иван 290]

Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

хотел бы обратить внимание, что сейчас критикуется не методика, а выбор продукта. Это не одно и то же. Поскольку здесь даже не родукт, а его одна из бет. Полагаю, объяснять разницу между релизным продуктом и бетой снова здесь не надо?

я прочел вот это http://www.av-comparatives.org/seiten/erge...methodology.pdf

там черным по белому написано, что вендор согласившийся принять участие в тестировании даёт Клименти рабочую версию продукта и ключи к ней. Вы что единственные кто версию не послал?

А еще Клименти высылает превью своего теста до его официальной публикации, вы что не могли тогда свои претензии заявить?

Нет вы видать надеялись, что 4.44 покажет существенно лучший результат, а когда этого не случилось то конечно удобней стало низкий результат всем объяснить тем, что версию не ту взяли.

Кстати в полном отчете Клименти в конце описания продукта Доктора Веба на писаны буковки RC - релиз кандидат, врядли это Клименти сам придумал.

а насчет любви к немецким продуктам вы напрасно, в одном из них 2 движка и его высокий детект понятен, а Авира всем известно что во-первых сильно подняла сигнатурный детект, а во-вторых засчет своего фолсящего эвристика тоже дофига берет. Так что не надо на немецкие продукты наезжать.

[alexgr 556]

начнем с того, что никто не наезжал - не стоит передергивать. Второе - есть официальный сайт - там четко и однозначно написано, что 4.44 в бете, а не RC.

http://www.drweb.com/?lng=ru

Или это я сам придумал? или привиделось?

Второе - что бы кому бы не выдавалось, всегда идет расчет на то, что беты с релизами вендоры не равняют. Применимость беты в этом тесте некорректна.

Третье - кто-то обсуждал место, занятое бетой продукта? Смотрим и видим - нет.

Обсуждалось только одно - некорректность теста беты в одном наборе с релизами, не более.

Четвертое - методика не обсуждалась. Смотрим внимательно!

Вывод - ? разъяснить?

Добавлено спустя 1 минуту 57 секунд:

А чем поможет превью теста, если применимость тестируемого продукта просто некорректна? Проще при личной встрече задать ему вопросик и посмотреть на реакцию

[A. 875]

забавно.

сами же согласились на использование беты в тесте, сами теперь и спорят

[alexgr 556]

как мне кажется, формат форума и предполагает некоторое обсуждение поста,вы же обсуждаете и даже оспариваете факт победы конкурента в тендере - и для вас это не забавно. Поэтому мнение оппонентов всегда имеет место быть и более- должно быть выслушано. Это помогает по жизни. Поэтому ничего забавного, как по мне - все корректно.

Добавлено спустя 20 минут 32 секунды:

Второе, что важно - разобраться, кто все же и где ошибся. Никто не свят в этом мире подлунном.

[Mr. Justice 771]

начнем с того, что никто не наезжал - не стоит передергивать. Второе - есть официальный сайт - там четко и однозначно написано, что 4.44 в бете, а не RC.

http://www.drweb.com/?lng=ru

Или это я сам придумал? или привиделось?

Второе - что бы кому бы не выдавалось, всегда идет расчет на то, что беты с релизами вендоры не равняют. Применимость беты в этом тесте некорректна.

Заче тогда нужно было соглашаться на тестирование беты?

Третье - кто-то обсуждал место, занятое бетой продукта? Смотрим и видим - нет.

Обсуждалось только одно - некорректность теста беты в одном наборе с релизами, не более.

Четвертое - методика не обсуждалась. Смотрим внимательно!

Вывод - ? разъяснить?

Не надо ничего разъяснять. Все и так ясно. Сначала люди соглашаются на условия тестирования, а затем их критикуют.

Добавлено спустя 1 минуту 57 секунд:

А чем поможет превью теста, если применимость тестируемого продукта просто некорректна? Проще при личной встрече задать ему вопросик и посмотреть на реакцию

Мда....см. выше.

[A. 875]

так ведь тут нет мнения оппонентов - это и забавно.

ситуация - drweb согласился на использование беты в тесте, сотрудники drweb с этим не согласны.