я не эксперт wildlist.org. Поэтому дополнять не могу. Но всегда имею несколько образцов для 6-7 антивирусов, которых они не видят. Книги Шаракшанэ Использую, потому что кроме них в теории сложных систем и их испытаний- мне не попадалось ничего более фундаментального.
И - об испытаниях. Подвергаются испытаниям все заявлнные функциональности, а также те, которые не заявлялись, но могут иметь существенное влияние на применимость. Потому - эргономика вегда проверялась. Поэтому для начала делается декомпозиция показателей, формируется для каждого методика и проводятся испытания.
То есть - тест Клементи - показывает некий показатель, тест на лечение активного заражения - тоже, но иной, тест на детект - тоже. И даже нагрузочный тест, который мы обозвали тестом на быстродействие - тоже дает свою характеристику продукта. И когда мы получим с два - три десятка таких показателей - можно реально сравнивать продукты по множеству показателей. Именно таким образом сравнивают например образцы вооружений. Иначе детский разговор, что "наш танк лучше, потому что быстроходнее" - актуален. Или спор о том, что ИС2 лучше "Тигра", потому калибр орудия 122 мм, а у "Тигра" всего 88. А скорострельность? А дульная энергия орудия? и получилось, что пока ИС перезаряжает пушку, немец успевал сделать три выстрела.
Когда показателей нет вовсе - спор о качестве продукта носит характер спора бенедиктинцев и францисканцев об имуществе Христа.