Почитал ветку, мысли.
1. (блиц) IMHO Atguard появился раньше ZA? Значит "атец" NIS все же?
2. Плавно утекаем в HIPS и т.п. Кажется, возможная причина - слабые познания проблематики? Так давайте развивать свой уровень.
3. При тестировании firewall я бы сосредоточился на следующих проверках:
а) корректности сетевых правил, что-то мне подсказывает, если копнуть нормально, столько дури можно накопать... А, если правила опасны - то этой не уже решение главной задачи.
б) способы обхода в рамках классического "обмана" (leak/antileak) - это может быть внедрение и другие leak техники.
в) детектировании важных сетевых угроз - ARP spoofing, DNS spoofing и т.п.
г) быть может, в детектировании вторичных сетевых угроз - сканы, DOS атаки.
д) способности защитить браузер со стороны сетевой защиты, конкретно не знаю, но мне кажется блокировка опасных технологий и эксплойтов были бы не только интересными и даже полезными.
е) детектирование подозрительной активности, например активности, свойственной внедренным в систему ботам.
4. Я бы оставил вопросы проникновения в ядро и борьбы против подсистемам firewall для теста самозащиты. Можно только включить такие проверки, но никак не концентрировать на них все внимание, это не главное.
5. Важно отсутствие параноидальности продукта. Никому не нужны алерты на каждом шагу. Такая псевдобезопасность не для реальной жизни. Гляньте на UAC. Таким образом продукты "тупого" параноидального характера должен получить соответствующие оценки.
6. исходя из п.5, нужны тесты обычных (правильных) ситуаций: ставим драйверы, ставим софт, скачиваем обновления - пользователь не должен быть побеспокоен неоправданно лишней навязчивостью.
7. Очень важны настройки по умолчанию. Это продукты не для профи, а для обычных пользователей - обычный пользователь покупает продукт, но
не будет погружаться серьезно в предметную область. Поэтому исследование режима максимальных настроек может иметь интерес больше для профессионалов. Обычный пользователь все же будет использовать, предложенные продуктом настройки.
8. Мне вот все равно, кто тестирует и чей это продукт. Хоть сам свой. Мне важны прозрачность методиики и пригодность отчета к самостоятельной перепроверке результата. Нужна очевидность и прозрачность процесса. Только в таком случае он будет вызывать доверие, а исполнителя - дисциплинировать.
9. Будет полезным начать использовать синтетические самописные тесты, чтобы не беспокоится о сигнатурных движках продуктов. В сообществе профессионалов написать подобные концепты не должно составить труда.
10. Тест на use case. Ставит продукт пользователь ноута, ноут попадает в разные сети. Как сможет проверяемый продукт разрулить ситуацию интелектуально? Или вот, продукт установлен на компьютер в кампусной сети, или как мы называем Ethernet сети оператора - провайдера домашних сетей. Будет ли поведение продукта действительно адекватным в такой подозрительной среде?
Я понимаю, что производители вынуждены лавировать между безопасностью и практичностью. Сложно сделать массовый продукт, гарантирующий защиту приличного уровня. Но стремиться к этому надо и сравнительное тестирование продуктов должно не только выявить рынку разницу возможностей, но и подтолкнуть вендоров к совершенствованию.