Данные правила утверждены администрацией и экспертным советом Anti-Malware.ru и распространяются на все виды проводимых нашей лабораторией тестов, стартовавших после 01.03.2012.
1. Планирование тестов
1.1 График тестов на календарный год определяется администрацией Anti-Malware.ru с учетом пожеланий наших экспертов и сообщества в ходе открытого обсуждения. Предварительный график тестов выносится на утверждение Экспертного совета Anti-Malware.ru в конце каждого календарного года, после чего публикуется в открытом доступе на сайте.
1.2 Опубликованный график тестов может корректироваться не чаще, чем раз в квартал с учетом возможных форс-мажорных обстоятельств или новых конструктивных инициатив.
1.3 Методологии всех тестов без исключений в обязательном порядке проходят открытое публичное обсуждение, в процессе которого каждый участник сообщества может высказать свое мнение и, тем самым, влиять на то, как именно будет проводиться тест. Дополнительно методология теста обсуждается с внешними экспертами (наблюдатели), среди которых могут быть как представители различных производителей, так и независимые эксперты.
1.4 Методология публикуется на сайте до начала самого тестирования. Корректировки в методологию вносятся только на этапе ее подготовки (п. 1.3), т.е. до официальной публикации.
2. Бесплатное участие в тестах
2.1 Участие в наших плановых тестах всегда бесплатное!
2.2 Для каждого планового теста администрацией определяется квота, составляющая обычно от 10 до 20 продуктов. Попавшие в данную квоту продукты будут тестироваться бесплатно согласно утвержденному графику.
2.3 Список продуктов, попадающих в данную квоту, определяется совместно администрацией и экспертным советом Anti-Malware.ru по результатам открытого обсуждения или голосования. При этом наиболее популярные на рынке продукты, а также продукты официальных партнеров Anti-Malware.ru имеют приоритет для попадания в списки бесплатных участников плановых тестов.
2.4 Важно! Так как участие в плановом тестировании всегда бесплатное, то производители не имеют права отозвать из него свой продукт, т.е. не могут отказаться от тестирования. Также производители не имеют права каким-либо образом отказаться от публикации результатов бесплатного тестирования своего продукта.
2.5 Если в ходе бесплатного тестирования результаты продукта, по мнению его производителя, оказались недостаточно высокими, то он имеет право на повторное тестирование (“retest”), но уже на платной основе.
2.6 В результате бесплатного теста без какого-либо согласования с производителями производится:
- Публикация отчета об основных результатах тестировании (в формате статьи с комментариями экспертов и производителей).
- Публикация подробного отчета о тестировании в формате xls/pdf.
- Публикация методологии теста и схемы награждения победителей.
3. Платное участие в тестах
3.1 Индивидуальный платный тест
3.1.1 Не попавшие в квоту для планового бесплатного тестирования продукты имеют право на внеплановое тестирование по той же методологии по желанию заказчика, но уже на платной основе.
3.1.2 Внеплановый платный тест (или как принято говорить “single test”) может быть выполнен по той же самой методологии как отдельно для того или иного продукта, так и одновременно для группы продуктов сразу.
3.1.3 Результаты такого дополнительного тестирования публикуются отдельным отчетом на сайте Anti-Malware.ru. Итоговые результаты теста, наряду с результатами бесплатных тестов, консолидируются в сводный рейтинг конкретного вида тестов.
3.1.4 Если в ходе платного тестирования результаты продукта, по мнению его производителя, оказались недостаточно высокими, то он имеет право на повторное тестирование, но также на платной основе.
3.2 Повторный платный тест
3.2.1 Если, по мнению производителя, результаты его продукта в бесплатном или платном варианте тестов (значение не имеет) оказались неудовлетворительными, то на той же платной основе может быть проведено повторное тестирование (или как принято говорить “retest”). Повторное тестирование проводится на тех же принципах, что и простое индивидуальное платное тестирование.
3.2.2 Повторное тестирование может быть оправдано, например, при обнаружении ошибок в работе продукта, которые были оперативно исправлены, или усовершенствовании технологий, которые, по мнению производителя, могут положительным образом повлиять на результаты теста. При этом улучшения результатов может положительным образом отразиться как на имидже компании, так и ее продукта.
3.3 Важно отметить, что все индивидуальные внеплановые тесты обязаны включать в себя измерения по тем же методологиям, что и бесплатные плановые тесты. Это принципиальный момент, который обеспечивает сравнения их результатов между собой.
3.4 Однако по желанию производителя методология индивидуального теста может быть расширена и/или дополнена дополнительными разделами, что в ряде случаев может лучше раскрыть технологические особенности продукта. Тем не менее, дополнительные разделы не могут учитываться при сравнении итогов индивидуального тестирования с другими результатами тестов той же тематики.
3.5 При заказе платного теста (будь это “single test” или “retest”) заказчик по окончании его проведения получает подробный отчет о тестировании и при необходимости дополнительные материалы (скриншоты, системные отчеты, отчеты продукта и т.д.).
3.6 Передача заказчику после проведения теста специальных утилит, образцов вредоносных программ и других специальных средств, используемых при подготовке теста, не предусмотрена, за исключением случаев особо оговоренных отдельным соглашением сторон.
3.7 Внесение каких-либо изменений или манипуляция результатами теста после его завершения не предусмотрено в принципе.
3.8 По согласованию с заказчиком производятся следующие действия:
- Публикация основных результатов тестирования (в формате статьи с комментариями экспертов и производителя).
- Публикуется подробный отчет о тестировании в формате xls/pdf.
- Публикуется отдельная методология теста (в случае расширения стандартной).
- Результаты теста заносятся в сводный рейтинг конкретного вида тестов.
3.9 Изменения в уже опубликованные ранее отчеты о тестировании могут быть внесены только в случае обнаружения явной ошибки в результатах.
3.10 Любой запрос на изменение результатов теста должен быть оформлен в соответствии с установленными требованиями. При этом информация о запросе автоматически фиксируется в публично доступной истории изменений конкретного документа.
3.11 Поиск причин, негативно повлиявших на результаты теста (troubleshooting), и составление рекомендаций по улучшению результатов в будущих тестах (consulting) в рамках стандартной услуги платного тестирования не предусмотрено. Такие услуги могут быть оказаны на основе дополнительной оплаты по согласованию с заказчиком.
4. Дополнительные услуги
4.1 По желанию заказчика, на основе дополнительной оплаты, может быть произведена рассылка пресс-релиза от лица аналитического центра Anti-Malware.ru о результатах индивидуального тестирования по базе СМИ.
4.2 В случае необходимости и на основе дополнительной оплаты заказчику платного теста может быть оказана помощь специалистами тестовой лаборатории Anti-Malware.ru по выявлению причин, негативно повлиявших на результаты теста (troubleshooting).
4.3 Также заказчику могут быть оказаны консультационные услуги по улучшению результатов в будущих аналогичных тестах по той же методологии.
Версия: 1.0
Опубликовано: 12.03.2012
