1. Предлагаю пересмотреть подход к случаям, когда ав-комплекс крэшится (даже какая-то его часть, хоть GUI). Продукт частично грохнулся - самозащита плохая, функционал нарушен - все, 0 баллов. Даже если тестовое действие было заблокировано. А ничего что он при этом вообще всю деятельность в системе заблокировал? то, что теперь все запрещено (или наоборот, все разрешено). А то нет логики - если позорно упав нечаянно всю систему заблокировал - это плюс один, а если корректно обработал хук и спросил у юзера "а что тут делать?" - 0.5 балла. Выходит лучше падать или вообще все лочить.
2. Ситуация с запросом - допустим, продукт спросил об попытке установки драйвера двумя способами. Итого он получит 1 балл. А тот продукт, который один способ тупо заблочил или вообще не обработал (просто самозащита не дает работать такому способу, а хуки на это не поставлены и корректно обработать данный кейс в случае атаки не на него а на систему он не сможет), а второй пропустил - тоже получит 1 балл.
3. Одно дело, когда антивирус на дефолтных настройках молча подавляет попытку TerminateProcess, а другое, когда спрашивает о недокументированной загрузке неподписанного драйвера - т.к если тупо заблочить, то у юзера софт может не работать (какие-нибудь там даемон_тулзы и прочая фигня). Т.е вопрос вопросу рознь. Одно дело когда вопрос на каждый чих как от OSSS и другое дело, когда вопросы о каких-то реально критичных событиях. Причем алерты тоже разные бывают - бывает что если приложение недоверенное (тестовые кейсы, например, ведь их нет в базе чистых и вообще они подозрительны), то алерт угрожающий и по его тексту и внешнему виду понятно что надо бы запретить если не уверен.
4. Если на дефолтных настройках продукт тупо блокирует все кейсы, то это, простите, тупая заточка. Если все эти действия блочить, то как с таким продуктом работать - половина софта корректно работать не будет, т.к продукт все лочит тупо. Т.е еще раз предлагаю пересмотреть политику начисления баллов продукту, который спрашивает.
5. В каких-то продуктах есть правила для приложений, где-то нет. Есть базы чистых, предустановки и на выход в сеть и на поведение в системе для большинства популярных программ и т.д... - так вот при тестировании все это не учитывается ведь. Т.е кто-то все тупо молча лочит хорошей самозащитой, но при этом нужных хуков в системе у него не поставлено...
6. Немного странно видеть когда продукт, у которого поставлены хуки на все что можно (все кейсы или заблочит молча или спросит) оказывается по тесту хуже того у которого и технологий то таких нет - треть пропускает т.к он не дорос еще до таких хуков. Логика такая - если у продукта стоят такие хуки, то на дефолтных настройках есть много правил (ну, кроме как у OSSS и еще схожего вендора) которые определяют его активность в системе, а вот если приложение неизвестно (тестовый кейс, зловред), то на особо хитрое мутное действие может быть и алерт - т.к файл юзер сам скачал и запустил, кто его знает, может этот функционал ему нужен...