Возвращаясь к вопросу о методологии, выскажу несколько идей. Надеюсь, они будут приняты уважаемыми собеседниками.
На мой взгляд, любое тестирование, сравнение, исследование важно своими результатами, в объективности коих не будет серьезных причин для сомнения, то есть которым можно доверять. Более того результаты которого можно проверить - воспрозвести. Таким образом я предлагаю использовать научный подход к методике тестирования. То что быо сделано безусловно любопытно похвально, однако, первооснова результатов скрыта. К сожалению...
Если мы будем брать отрасль тестирования или науку, то в обоих случаях нам понадобиться важные свойство результатов - достоверность.
Например, в тестировании нам важны воспроизводимость проблемы. А воспроизводимость нам может обеспечить ясное и однозначное толкование тест-кейса. И в научном эксперименте важны исходные данные. Не буду повторятся, все и так ясно.
(Подробнее о научных методах здесь: http://ru.wikipedia.org/wiki/%D0%9D%D0%B0%...82%D0%BE%D0%B4)
На мой взгляд любой вывод любого тестирования должен быть объективным. Это значит, методология быть понятной, а результаты воспроизводиться, в том числе сторонним экспериментом независимым наблюдателем.
Касательно темы данного топика, считаю нужным, нет, важным сделать следующие замечения:
1. Нужна подробная последовательность действий, которые сможет зафиксировать наблюдатель при эксперименте. Да, подробно, иду туда, кликаю там то, наблюдаю то. Плюс, согласно журналам снифера и т.п. вижу следующую активность. И так для каждого продукта. Вообще тестирование в реальной среде это особый вкус, у меня нет никакой уверенности что эксплойт будет срабатывать для одной и той же системы многократно.
То что было сделано в прошлом году, увы, похоже на домашнии фокусы. Уж простите.
Итак - прилагайте лабораторный журнал.
2. Давайте методику отделим фактов. То что было сделано, выявлено - это результаты. А вот план проверки, шаги, последовательность действий - это есть методика. Методики пока не видно, увы. (http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D0%B8%D0%BA%D0%B0). Очевидно Методика должна включатьть в себя описание действий без относительно продукта и времени ее применения.
Итак - предоставьте объяснение плана тестирования - методику.
3. Небольшое замечание. Не стоит сожалеть, что в течении тестирования вышли новые версии продуктов, вышли и ладно. Они все время выходят. Нас же интересуют результат "на сейчас", но это нереально. Или хотя бы на конкретный момент времени "тогда".
Итак - нужен срез продуктов, и пусть обновлений на одну дату, что конечно же мы должны указать в описании результатов.
4. В тексте указано: "образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов". Итак - давайте покажем, какой из продуктов, что нашел, благодаря сигнатурному анализу перед началом тестирования.
5. Из п.4 следует, что нужно опубликовать информацию о зловредах, которые вошли в тестирование, какие были отброшены и почему, и достаточно кратко описать мотивы принятых решений.
Итак - нужен список зловредов попавших в тестирование
7. Было бы вероломным просить приложить сами зловреды, как приложение к тестированию. Ок, без проблем.
Однако решить проблему списка вполне возможно. Опубликуйте отчеты virustotal на дату тестирования вместе с контрольными суммами. Хотя бы.
Итак - нужна объективная информация о зловердах на момент начала тестирования.
8. Как в бухгалтерии баланс складывается с множества фактов.
Так и здесь публикуйте результаты по каждому зловреду для каждого продукта.
9. Поскольку сам процесс тестирования растянут по времени, то есть нам не получить результаты в realtime. Считаю нужным описать принцип работы каждой малвари на момент составления отчета. Именно в этом случае будет видны принципы проникновения и развертывания современного зверья. И реакция продуктов.
10. Давайте будем более объективными. Публикуйте процесс тестирования в реальном времени и история вас не забудет :-) Конкретно - дата начала тестирования. Набор малвари отобранной для тестирования, должен быть опубликован в момент начала эксперимента (конечно же идентификаторы). Тогда будет процесс тестирования более прозрачным, а значит заслуживать большее доверие читателей.
11. Тестирование проводилось в реальной жизни (это плюс), но реальная жизнь гетерогенна по своей сути - то есть настолько разнообразна, поэтому неповторима (это минус эксперимента). В реальной жизни мы не можем повторять одни те же действия с одним тем же результатом, поскольку внешние условия все время меняются. Мне кажется искуственная среда была бы интересным и веским доплнением к качеству результатов тестирования. Берем известные и актуальные методики внедрения и развертывания малвари в системе. Создаем программу-макет, имитирующую такой сценарий действий, но при этом, гарантированно не определяемую сигнатурными сканерами. В этом случае мы получаем искуственный эксперимент, гарантированно воспроизводимый и вполне себе показательный для оценки эффективности различных решений.
Предлагаю сформировать подобные тестовые приложения. Думаю квалификациии большинства участников форума хватит для решения этой задачи.
Надеюсь, мои пожелания будут учтены. Спасибо!