В общем-то спорить или коментировать данное "тестирование" имхо пока смысла нет - так как неизвестно, что именно было в тестовой коллекции ... а раз неизвестно, то далее можно только гадать (что именно, как она сформировано и откуда известно, что семплы там являются зверями, притом ITW и работоспособными). В теории:
1. семплы должен был изучить некий эксперт, дабы продтвердить их вредоносность и работоспособность. Это важно, так как есть типовые ситуации:
1.1 какойто левый тулбар - который в общем-то ничего опасного не делает, но кто-то детектит его малварью, кто-то адварью, кто-то не детектит, а кто-то вообще считает чистым и легитимным;
1.2 битый файл. Таких тучи, чаще всего - не полностью скачанный EXE. Т.е. в нем кода уже может хватить для сигнатурного детекта некоторых антивирусов, и тут дело не в их крутизне, а в том, из какой точки файла взята сигнатура. Но такой файл не будет работать и засчитывать его детект/недетект - глупо.
1.3 второстепенный файл. Есть некая малварь (чаще всего - фейковые антивирусы и адвари), в ее составе 20 файлов, причем собственно бузят из них 2-3, остальное - всякий мусор, ничего вредоносного они не делают. Кто-то детектит 1-2 основных, а кто-то все, включая GIF картинки из папки адвари ...
2. тест необходимо проводить на одном и том-же "железе". Причина банальна - разные процессоры, материнский платы, разная производительность диска, разный объем памяти - дают различное суммарное быстродействие системы ... в итоге на одном железе антивирус например успеет доэмулировать семпл до опасного поведения и будет подозрение или детект, а где-то не успеет - и запросто получим разный детект одного и того-же сепла одним и тем-же антивирусом с идентичными базами.
3. Семплы по должны быть только свежими ITW - тут все просто, ибо факт детекта (или недетекта) древнего вируса под DOS никак не отраждает качество работы
4. семплы нельзя посылать в тот или иной вирлаб (явно или неявно), или классифицировать по детекту того или иного антивируса
5. выборка семпло должны отражать реальную картину - ибо "взятая от балды" выборка может иметь перекос в сторону того или иного семейства или типа малварей, и совершенно не включать другие. При этом чем меньше количество зверей в тестовой выборке, тем сложнее задача - именно поэтом в теории для теста нужно брать как минимум 30-50 тыс. малварей