Ну давайте попробуем, коллеги подмогнут, я уверен.
Итак что такое хороший тест антивируса???
1. Он должен быть репрезентативным.
2. Он должен быть правильно проведен
3. Он должен быть проверяемым.
Что значит репрезентативным?
Вот например Лаборатория Касперского получает 125 000 уникальных семплов малвары в день. Что на этом фоне тест на основе 300 вирусов, на основе 1000 вирусов? Их можно все пропустить и все равно это будет укладываться в погрешность.
Я правда мат. статистику никогда не любил, но очевидно всякому что проверять надо на ГОРАЗДО большем числе файлов, чтобы иметь возможность делать выводы на основе этого.
Тесты коллекций которые проводятся лидерами сравнительного тестирования в мире - Av-Test.org, Av-Comparatives.org, VirusBuletein занимают ДНИ и количество семплов измеряется миллионами.
Небольшое количество семплов может быть оправдано только в случае если:
1. Измеряется способность ловить самый свежак - то есть семплы проверяются сразу при появлении их во каналах распространения - спам финишг рассылка и прочее. Тогда количество семплов будет измеряться десятками за день теста. Но это уже ограничение физическое - тестер не сможет обрабатывать больше без потери качества исследования. Также такие результаты всегда надо смотреть на более большом отрезке -месяц и больше.
2. Измеряется способность лечить сложные угрозы. - так как реально сложных угроз мало, то и количество исследуемых файлов может быть невелико, но тут уже результаты могут быть поставлены под сомнение.
Некоторые начинают учитывать распространенность семпла при подсчете результата. Например есть семплы которые стыдно не ловить - они например пол интернета заразили, а есть какое-то поделие васи которое он принес в школу и заразил петю, обидно конечно но не так опасно. Тут начинается целая история как эти данные собирать и учитывать.
Что значит правильно проведен?
Это значит что методология (страшное слово) должна не вызывать вопросов.
Например все файлы по которым проводится проверка должны быть действительно вредоносными.
Тест должен проводиться в условиях приближенных к реальным - на реальном железе (это важно для корректной работы всех систем антивиурса), с реальным доступом в интернет (это важно для работы облачных технологий), на реальных системах, актуальными версиями АВ-продуктов.
Файлы не только проверять на обнаружение но еще и запускать - т.к. многие технологии позволяют отследить вредоносную активность при запуске но не ругаться на файл пока он лежит на винте просто так.
Что значит должен быть проверяемым?
Это значит что коллекция по которой проводился тест, или, как минимум пропуски, должны быть доступны антивирусным лабораториям для проверки. Тут нет никаких предубеждений - все абсолютно тестовые лаборатории случается записывают в пропуски неработоспособные вирусы, либо не вредоносные файлы.
Например считать вредной чистую утилиту, которая кем-то где-то была интегрирована с вирусом, и с тех пор обнаруживается некоторыми несознательными АВ-лабораториями. Это случается постоянно, поэтому ВСЕ нормальные лаборатории прежде чем публиковать результаты предоставляют промахи для того чтобы АВ-вендоры могли подтвердить или опровергнуть вредоносность.
Самопальные Тестеры-энтузиасты которые говорят "я тут нашел свежей малвары и никто ее не ловит" сразу получают вопросы типа
1. Действительно ли это малвара и насколько она репрезентативна.
2. насколько она свежая (в принципе это неважно, чем старее тем больше шансов что она в базах, но были случаи когда проверялась дос-малвара, которая вообще не запускается на тех системах для которых предназначены современные антивирусы)
3. какой продукт ты тестировал
4. как ты тестировал
5. покажи, что именно не ловится и см пункт 1.