Тест Internet Security-решений для Windows Vista на cnews

[Виталий Я. 859]

Тратить время на повторные прогоны для съемки роликов мы не будем. Ролик ничем недоказательней скрина, можно сделать любую нарезку. Давайте немного подождем до реакции Cnews. А затем продолжим наше обсуждение.

Олег, мы тоже потратили время тестеров на воспроизведение удручивших Вас результатов KIS и подтверждение результатов OSS. Пока Вы ничем не доказали обратного - что KIS 7 проходит Atelier FW test, только представили сомнительного происхождения скриншот.

[Олег Гудилин 95]

Виталий, еще раз - подождите немного и я расскажу Вам и всем остальным о "сомнительного происхождения скриншоте" и обо всем остальном. Если Вам не терпится, можете выкатить Ваши результаты когда пожелаете. Я буду их комментировать и приводить свои только услышав решение Cnews.

[Stuart 5]

Internet Security? То есть, полагаю, должен быть а антивирусный модуль. Но в плане доверия к антивирусной составляющей Agnitum, простите, нет никакого. К тому же ставил как-то чисто фаейрвол на Vista: получил жутчайшие тормоза системы (рейтинг производительности 5,5) и через пару загрузок - ваша копия Windows не является подлинной (при том, что имеется лицензия Buisness Edition).

Так что "ф топку" таких победителей. Кроме KIS, пожалуй, более лучшего решения не найти. Личный опыт.

[Олег Гудилин 95]

К тому же ставил как-то чисто фаейрвол на Vista: получил жутчайшие тормоза системы (рейтинг производительности 5,5) и через пару загрузок - ваша копия Windows не является подлинной (при том, что имеется лицензия Buisness Edition).

Это какая-то частная проблема. Outpost Firewall решение весьма достойное.

[Stuart 5]

Для XP, и как firewall это достойное решение. Но не комплексное. Как судить о качестве детектирования продукта, который освоил эту деятельность года 2 назад?

[Олег Гудилин 95]

Вернулся наконец в офис, как и обещал комментарии по тесту. Я считаю это уместным, поскольку Михаил Демидов опубликовал результаты теста в блоге и продолжает утверждать, что тест абсолютно нормальный. Его активно поддерживает в этом Виталий Янко.

1. Тест фаервола, а именно та часть теста, где использовалась утилита AFWT.

Мы согласны с результатами тестирования утилитой AFWT.

Я прошу прощения у Михаила Демилова и у сообщества в целом за непредумышленное введение в заблуждение (как я и говорил Вам Михаил у меня проблем с принесением извинений нет).

Я приводил выше скриншот, который получен при соединении через наш корпоративный proxy на vista32SP1. При дальнейшем разбирательстве выяснилось, что к нашему удивлению результат зависит от типа соединения.

Для ясности приведу результаты перепроверок, проведённых нашими инженерами:

Результаты тестов, используя различные методы подключению к интернет и различные версии ОС Vista (32, 64. 32SP1):

Через proxy (vista32SP1): 10:0 (результат на моём скриншоте)

Через непроксированный Ethernet (vista32SP1): 4:6 (результат полученный Михаилом Демидовым и подтвержденный у нас)

Через dial-up (vista64): 9:1

Через непроксированный Ethernet (vista64): 8:2

Чем вызвана подобная нестабильность - нашим продуктом или AFWT времени в данный момент изучать нет. Поэтому мы согласны с результатами.

2.Антивирусная часть теста

Мы категорически не согласны с методикой проведения теста.

a. Объем коллекции

не позволяет рассматривать их как объективный источник информации о качестве антивирусов. Размер коллекций чудовищно мал, всего несколько тысяч образцов. На такой коллекции можно получить абсолютно ЛЮБЫЕ результаты, не имеющие ничего общего с реальной ситуацией, коллекции таких объемов просто нерепрезентативны. Я не говорю даже о том, что такую коллекцию легко подогнать под любого вендора, я говорю о случайном перекосе вызванным малым количеством образцов.

Есть некоторые тесты, которые можно и нужно проводить на небольших коллекциях специальным образом отобранных образцов, это тесты на лечение активного заражения и тесты антируткит-технологий. Но это никак не тесты на общий уровень обнаружения.

Собственно такая же ситуация с количестовм образцов в коллекции VB100%, но у VB100% есть одно важное преимущестово, которого нет в данном случае, а именно пункт б.

б.Качество коллекции

В присланной нам коллекции содержалось 2172 файла, включая содержащиеся в архиве Generals_DualCDKeyFixer_Final.rar

Мы проверили данную коллекцию KIS 7.0.1.325 с максимальными настройками и базами сигнатур от 2008.05.15 22-33.

Оказалось:

- 1977 файлов обнаруживаются KIS;

- 29 файлов действительно реальных зловредов, которые мы пропустили – будут добавлены в наши базы;

- 42 спорных файла, которые требуют дополнительного изучения каждого конкретного экземпляра. Дело в том, что это так называемые программы рекламного характера (Adware). Они не несут никакого вредоносного или шпионского (spyware) функционала и решение о добавление их в базы принимается нами каждый раз индивидуально в зависимости от: их распространенности, конкретного функционала, запросов от пользователей на их детект и т.д.;

- 108 чистых файлов, детектирование которых каким-либо антивирусом является ложным срабатыванием;

- 16 битых неработоспособных файлов вредоносных программ. Мы, как и большинство других антивирусных компаний считаем, что подобный мусор мы детектировать не должны, поскольку вреда пользователям принести такие файлы не могут, а добавление их в базы только увеличивает их размер и время проверки на вирусы. Соответственно, специально заносить сигнатуру для их обнаружения в базу никто не будет. Эти файлы могут детектироваться рядом антивирусов, но это не специальный ”точный” детект на этот битый файл. Дело в том, что сигнатура, детектирующая работоспособный вредонос, может быть так написана, что она ловит и битый файл этого зловреда. Или эвристики ловят не только работоспособный файл, но и битый. Включать такие битые файлы в коллекции для тестирования нельзя и все известные исследовательские организации (AV-Comparatives, AV-Test) стараются очень тщательно отслеживать их и исключать из своих коллекций.

Итого, 124 файла из коллекции мы не детектируем совершенно справедливо и специально добавлять в базы не будем (возможно только случайное детектирование ряда экземпляров эвристиком или расширенной сигнатурой). При этом надежность нашей системы от этого не пострадает – эти файлы не представляют никакой опасности.

Надо отметить, что кроме откровенно нормальных и битых файлов, в число этих 124 входят кейгены, патчи, uninstaller'ы и другие подобные программы, обнаружение которых никакого отношения к защите компьютера не имеет. Мы боремся с вредоносными программами, а не с пиратством. В функции наших продуктов не входит удаление и блокирование кейгенов или uninstaller'ов, позволяющих использовать нелицензионное ПО.

Нас очень удивило, что эти файлы были отдельно добавлены к уже сформированной ранее вирусной коллекции: имя каждого файла, входящего в основную часть коллекции, это его контрольная сумма. Эти же дополнительные файлы имеют совершенно другие произвольные названия.

Возникают вопросы:

Зачем эти файлы добавлены в коллекцию?

На чем основано предположение, что антивирус должен их считать вредоносными или опасными?

В итоге файлов, которых нужно детектировать (даже если отнести туда спорные, что, по сути, неверно) в коллекции 2048 (без спорных 2006). Обнаруживали мы из них на момент проведения теста 1977. Уровень обнаружения - 96,53% (без спорных 98,55%). Но мы еще раз хотим подчеркнуть, что даже этот результат на уже вычищенной коллекции не может служить критерием качества антивируса, поскольку коллекция слишком для этого мала.

в. Критерий выбора 100 образцов из общего набора для тестирования on-access (монитора) нам непонятен в принципе. Почему 100, а не все (хотя и 2000 тоже мало для объективного анализа)? Как их отбирали?

Все это делает на наш взгляд антивирусную часть теста некорректной. Утверждения Михаила в форумах, что тесты Cnews делаются для домохозяек мне так же непонятны. В тестах для домохозяек можно позволить себе некорректную методологию?

Решение о дальнейшей судьбе теста целиком и полностью в руках издания, наше дело изложить факты, которые мы считаем нужным изложить.

[Виталий Я. 859]

Вернулся наконец в офис, как и обещал комментарии по тесту. Я считаю это уместным, поскольку Михаил Демидов опубликовал результаты теста в блоге и продолжает утверждать, что тест абсолютно нормальный. Его активно поддерживает в этом Виталий Янко.

Михаил утверждает, что в рамках его компетенции он проводит "тесты для домохозяек" - те тесты, которые можно повторить в домашних условиях, как мне понятно. Смысловая нагрузка несколько иная.

1. Тест фаервола, а именно та часть теста, где использовалась утилита AFWT.

Мы согласны с результатами тестирования утилитой AFWT.

...

Через непроксированный Ethernet (vista32SP1): 4:6 (результат полученный Михаилом Демидовым и подтвержденный у нас)

Итак, все-таки журналист CNews обладает достаточной компетентностью для проведения ликтеста, и наши данные также не врут. Это радует.

2.Антивирусная часть теста

...

В присланной нам коллекции содержалось 2172 файла, включая содержащиеся в архиве Generals_DualCDKeyFixer_Final.rar

Мы проверили данную коллекцию KIS 7.0.1.325 с максимальными настройками и базами сигнатур от 2008.05.15 22-33.

Мы получили информацию от Cnews, что тест проводился 7-8 мая, и мы проверяли результаты на коллекциях от 6 мая.

Когда тест сняли и получили подборку, в ЛК решили проверить ее на базах, выпущенных через неделю после теста?

Вообще на моей памяти за последний год это первый случай, когда журналисты-тестировщики антивирусных решений передают свои коллекции в лаборатории, и они заново их исследуют. По тесту 3DNews, надеюсь, опровержение от ЛК тоже выйдет? У вас наверняка с ними хорошие связи.

[Олег Гудилин 95]

Мы получили информацию от Cnews, что тест проводился 7-8 мая, и мы проверяли результаты на коллекциях от 6 мая. Когда тест сняли и получили подборку, в ЛК решили проверить ее на базах, выпущенных через неделю после теста?

Виталий, нам было сказано, что тест проводился в середине мая. Видимо Вы получаете более точную информацию. Но смею Вас уверить, что эта неделя по сути ничего не изменит в сказанном мной выше: количественные и качественные характеристики коллекции неудовлетворительны.

Нас очень мало интересует наши точные до сотых результаты на вычищенной коллекции, наш основной посыл - так тестировать нельзя.

Вообще на моей памяти за последний год это первый случай, когда журналисты-тестировщики антивирусных решений передают свои коллекции в лаборатории, и они заново их исследуют.

Если производитель чего-либо категорически не согласен с результатами теста и с его методологией - запрашивать данные для воспроизведения теста нормальная общепринятая практика - иначе доказать свою правоту производитель не сможет.

А на тему того, что мы лишили тестера коллекции, могу повторить еще раз:

1.качественные и количественные характеристики коллекции не позволяют считать ее адекватной

2.если автор по прежнему считает, что для теста на общий детект достаточно несколько тысяч вирусов и непонятно как отобранных 100 вирусов для тестирования монитора - чтож это его право заблуждаться. В текущей ситуации с количеством вновь появляющихся каждый день зловредов заново подобрать подобную коллекцию не составляет никакого труда.

3.для тестов нельзя использовать все время одну и ту же коллекцию, тесты нужно проводить на вирье распространенном в некий не сильно удаленный от теста период времени. Так что если автор хочет заблуждаться дальше - пусть хотя бы соберет более свежую коллекцию.

По тесту 3DNews, надеюсь, опровержение от ЛК тоже выйдет? У вас наверняка с ними хорошие связи.

Виталий, я уже по-моему ясно и четко сказал здесь и в теме про тест 3DNews: все тесты на неясно как собранных коллекциях минимального объема не могут считаться объективными. Мы приняли решение провести дополнительные изыскания по тесту Cnews по 2 причинам:

1. Результаты теста ставили нас фактически на последнее или предпоследнее место по детекту зловредов среди тестируемых. Если бы при этом тест проводился по адекватной методологии - мы бы занялись исправлением ошибок, но это не тот случай. Именно поэтому необходимо было расставить все точки над i.

2. Вы, Виталий, лично продвигали и продолжаете продвигать в массы мысль, что тесты, проведенные по подобной методологии, полностью адекватны. Что нам показалось как минимум странным. И это был еще один важный повод начать подробное изучение вопроса.

Этих 2 пунктов мы не видим в случае теста 3DNews, поэтому тратить время на его исследование мы не будем.

А раз Вам совершенно неожиданно порочная методология тестирования на минимальных непонятно как собранных коллекциях вдруг резко перестала нравиться, как только продукт Вашей компании в тесте занял не первое место - так и разбирайтесь сами.

[Виталий Я. 859]

Олег, не передергивайте. Я в данном случае упирал на то, что тест фаерволов, который в итоге оказался верным, как составляющая теста решений класса _Internet-Security_ - адекватен. Этот компонент теста вы в итоге признали реальным.

В то же время тест на детект вредоносин - уже дело второе, для нас решенное еще в апрельском тесте 4-х антивирусных продуктов (его мы детальному анализу не подвергали) - тест наверняка наследовал вот этому http://soft.cnews.ru/articles/safe/120/

Да, и предыдущий, и текущий тест антивирусных компонентов для нас тоже был под вопросом, пока не перетестировали подборку сами, обнаружив в ней пару ликтестов и с сотню кряков и кейгенов (подробные логи приводить не буду, данные близки к данным ЛК, но мы считаем кейгены потенциально опасными и алертим, как и Симантек с Нодом). Но пока вы не настояли на том, чтобы снять этот тест с публикации (по крайней мере, не повлияли на это прямо или косвенно), мы тоже не занимались этим вопросом вплотную.

Повторюсь, нам не нравятся многие тестирования антивирусных решений, включая Outpost, по "рюшечкам" в интерфейсе и "опыте в выпуске антивирусов", которые дают какие-то сумбурные и субъективные оценки продуктам, технологии защиты в которых работают в непривычном аспекте. Именно поэтому мы ухватились за тест CNews и за тест 3Dnews. Разница между ними все-таки имеется - при одинаков недостаточных выборках есть беда не столько с составом коллекции, сколько с логикой, в рамках которой разница в 1% детекта на сверхмалой подборке представляется провалом, в то время как на другой коллекции победителя так и не выявляют. Поэтому нас волнует отсутствие в печати 1го текста и наличие 2го, хотя в целом он не так плох как ревью.

Да, изначально порочна практика, сбора данных для тестирования невесть где и верификации невесть как и кем. С одной стороны, это показатель профессиональной подготовки авторов одного конкретно взятого издания, с другой стороны - показатель неумения/нежелания или невозможности донести до представителей СМИ, как тестировать те или иные продукты. Четкие указания в виде "Complete Idiot's Guide" по тестированию АВ-продуктов очень нравятся прессе, не забудьте.

Кстати, когда даже на Anti-Malware.ru не находится человека, готового тестировать АВ-решения на быстродействие на Vista... Это говорит как минимум о трудоемкости теста. И о том, что за свои гонорары авторы вряд ли готовы свернуть горы, в отличие от AV-test и AV-comparatives.

Так что, Олег, давайте будем воистину проактивными в подготовке тестирований наших продуктов, чтобы не было грубых ляпов и не пришлось реагировать на них как на грубое искажение реальности.

И вот только со сбором коллекций вопрос, полагаю, так и останется открытым еще надолго - от кого и на каких условиях авторы будут получать malware и как его верифицировать?

[Олег Гудилин 95]

Виталий, я не передергиваю. Это ведь цитата касается антивирусной части теста?

Что касается подборки для теста, мне тоже все ясно - ваша 7-ка с Vista SP1 не "сдружилась", а наша 6-ка смогла, и при детекте по требованию с 1-процентным перевесом в вашу пользу сейчас ваша 7-ка безбожно сглючила "на лету". Хотя на этом форуме иного мнения, кроме мнения в поддержку ЛК, не приемлют.

Так что, Олег, давайте будем воистину проактивными в подготовке тестирований наших продуктов, чтобы не было грубых ляпов и не пришлось реагировать на них как на грубое искажение реальности.

И вот только со сбором коллекций вопрос, полагаю, так и останется открытым еще надолго - от кого и на каких условиях авторы будут получать malware и как его верифицировать?

Я, Виталий, предлагаю при встрече (надеюсь она будет скорой) за кружечкой чего-нибудь вкусного обсудить эту проблему, попытаться сформулировать пути решения.

На мой взгляд существуют пути решения проблемы хотя бы сбора самплов (сети провайдеров и крупных компаний). В любом случае при больших объемах коллекций влияние "брака" должно уменьшится. А с верификацией могут и вендоры помочь, можно просто базы морозить перед верификацией, чтобы никто повлиять не смог.

Нужно начинать простраивать систему российского тестирования, но тесты аналогичные данному не очень хорошее начало.

[Виталий Я. 859]

Виталий, я не передергиваю. Это ведь цитата касается антивирусной части теста?

Цитата - не более чем мое эмоциональное отношение к результатам всего теста (ликтесты в ней маячат между строк, ибо 4-6), в детали я не вдавался на тот момент. После детального анализа очевидно, что в ней могло быть и поменьше эмоций. Так что извините, ввел в заблуждение.

И тем не менее соглашусь, что формировать коллекции для весомых тестов нужно более взвешенно и при активном наблюдении со стороны вендоров. Но тут характер общения с прессой таков, что с изданиями либо ругаются постфактум, либо просто машут рукой "что с них взять, они непрофессионалы", а еще втихую можно пригрозить рекламу снять (известны прецеденты, ну да не о них мы). А вот такую бизнес-этику нужно менять, ведь когда журналисты боятся описывать или тестировать - это не свобода слова, это черт знает что.

Непрофессионалов - учить, наталкивать "на путь истины", "натаскивать"

Особо невменяемых - отстреливать (но это крайний случай).

Ибо в дальней перспективе Avast! Home Edition, AVG Free, Avira Antivir Personal и пока еще далекий от совершенства Comodo Anti-Malware могут в определенный момент "убить" рынок коммерческих антивирусных продуктов для дома (мы уже почувствовали на себе давление со стороны Comodo Firewall).

Так что обсуждать за кружечкой есть смысл многое - но не только нам, но и нашим аналитикам и техническим директорам. Попробуем это провернуть летом - я так полагаю, Вы предложите в Москве, хотя "уж лучше вы к нам". В крайнем случае - отложим до осеннего ISDEF.