Хочу сказать несколько слов относительно данного теста. Надеюсь, что тестировщики учтут мои замечания:
1) "Тест проводился в период с 7 июля по 22 октября 2009 года". Ну это не серьезно совершенно, нужно больше людей.
2) 0day на то и 0day, что во-первых, новый. А во-вторых, 0day обычно живет не долго (иначе он уже не 0day). Как это коррелирует с первым пунктом?
3) Выборка сэмплов совершенно мне непонятна. Рандом. Я бы рекомендовал обращать внимание прежде всего на сплоит-паки, которые быстро обновляются И это хорошо для теста. Также я рекомендовал бы обращать внимание на совсем новые уязвимости. Например на те, для которых еще нет патча и они только появились ItW. Это позволит узнать насколько хорошо вендор разработал проактивную защиту (сигнатура выйдет позже и это важно).
4) Выборка сэмплов мало того, что непонятная мне (методология? см. п6), так еще и очень маленькая. Возможно необходимо более детально разбирать что же там на сайте все-таки лежит. Одиночный ли сплоит, пак или вообще непонятно что
5) И еще смотрите какая простая штука. Моделировалась ситуация, когда обыкновенный пользователь серфит в сети. Получает обновления для антивируса. А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.
Нечестно как-то получается, не находите? Как решалась эта ситуация? Ведь реальные пользователи различных антивирусов в реальной жизни находятся в равных условиях с обновлениями и т.д.
6) Мне кажется, что методология должна быть полнее, чтобы не возникало вот таких вот вопросов.
P.S. И еще мне интересно, откуда в методологии появилась цифра в 20%? От балды?