Сравнительное тестирование 21 популярного фаервола на качество защиты от атак, исходящих изнутри системы. В тесте проводилась проверка защиты на 64-х специально разработанных для него тестовых утилитах, проверяющих защиту процессов от завершения, защиту от стандартных внутренних атак, защиту от нестандартных утечек и защиты от нестандартных техник проникновения в режим ядра.
Наряду с антивирусом, фаервол является одним из главных компонентов обеспечения безопасности компьютера. Однако, в отличие от антивирусов, объективные тесты работы фаерволов проводятся достаточно редко. Этот пробел мы попробовали закрыть, проведя в 2011 и 2012 году тест фаерволов на защиту от внутренних атак и тест персональных IDS/IPS на защиту от атак на уязвимые приложения. В этом году мы решили расширить список используемых методов и повторить тест фаерволов на защиту от внутренних атак, чтобы посмотреть, как за прошедшее время изменились результаты популярных продуктов по данному критерию.
На что направлен данный тест или какие функции выполняет фаервол? По определению интернет-стандарта [RFC3511] (2003 г.), фаервол – это система, реализующая функции фильтрации сетевых пакетов в соответствии с заданными правилами с целью разграничения трафика между сегментами сети. Однако, с ростом сложности вредоносных программ и хакерских атак, исходные задачи фаервола дополнились новыми функциональными модулями. Уже фактически невозможно представить полноценный фаервол без модуля HIPS (мониторинга системных событий, контроля целостности системы и т.п.).
Главная задача современного фаервола – осуществлять блокировку неавторизованных сетевых коммуникаций (далее - атак), подразделяемых на внутренние и внешние. К таковым относятся:
Внешние атаки на защищённую фаерволом систему:
- инициированные хакерами;
- инициированные вредоносным кодом.
Неавторизованные исходящие сетевые соединения:
- инициированные недоверенными приложениями (вредоносный код);
- инициированные приложениями, сетевая активность которых явным образом запрещена правилами.
Кроме того, фактически исчезли с рынка продукты, которые можно было бы отнести к чистым персональным фаерволам в классической формулировке 2003 года. На смену им пришли комплексные продукты защиты персональных компьютеров, в обязательном порядке включающие в себя фаервольный компонент.
Тест фаервола на защиту от внешних атак включает в себя изучение качества защиты от атак, исходящих изнутри системы. Тест проводился по следующим направлениям:
- Проверка защиты процессов от завершения.
- Защита от стандартных внутренних атак.
- Тестирование защиты от нестандартных утечек.
- Тестирование защиты от нестандартных техник проникновения в режим ядра.
По сравнению с предыдущим тестом существенно расширилось количество используемых атак – с 40 до 64. Также изменялась операционная система, защиту которой должны осуществлять тестируемые продукты. В прошлом тесте это была Windows XP, а в данном тесте – Windows 7 x32. Также на конец года планируется аналогичный тест для операционной системы Windows 7 x64.
Методология проведения теста »
Анализ результатов теста и награды »
- Введение
- Проверка фаерволов на защиту от внутренних атак
- Сравнение качества защиты на стандартных и максимальных настройках
- Итоговые результаты теста и награды
- Комментарии партнеров Anti-Malware.ru
Введение
В тестировании принимала участие 21 популярная программа комплексной защиты (класса Internet Security, если в линейке такого продукта нет, то выбирался сугубо фаервол) от различных производителей актуальных на дату начала тестирования версий продуктов (май 2013) и работающих на платформе Windows 7 x32:
- Avast! Internet Security (8.0.1488).
- AVG Internet Security (2013.0.3272).
- Avira Internet Security (13.0.0.3499).
- Bitdefender Internet Security (16.29.0.1830).
- Comodo Internet Security (6.1.276867.2813).
- Dr.Web Security Space (8.0).
- Eset Smart Security (6.0.316.0).
- F-Secure Internet Security (1.77 build 243).
- G DATA Internet Security (1.0.13113.239).
- Jetico Personal Firewall (2.0).
- Kaspersky Internet Security (13.0.1.4190(g).
- McAfee Internet Security (11.6.507).
- Kingsoft Internet Security (2009.05.07.70).
- Microsoft Security Essentials (4.2.223.0) + Windows Firewall.
- Norton Internet Security (20.3.0.36).
- Online Armor Premium Firewall (6.0.0.1736).
- Outpost Security Suite Pro (8.0 (4164.639.1856).
- Panda Internet Security (18.01.01).
- PC Tools Internet Security (9.1.0.2900).
- Trend Micro Titanium Internet Security (6.0.1215).
- TrustPort Internet Security (2013 (13.0.9.5102).
Перед началом теста производилась подготовка среды тестирования. Для этого на чистый компьютер устанавливалась операционная система Windows 7 Enterprise SP1 x86 со всеми доступными на этот момент обновлениями, а также дополнительное программное обеспечение, необходимое для теста.
Тестирование производилось на двух типах настроек: рекомендуемых производителем стандартных (настройки по умолчания) и максимальных. В первом случае использовались рекомендуемые производителей настройки по умолчанию и производились все рекомендуемые программой действия.
Во втором случае в дополнение все настройки, которые были отключены в режиме «по умолчанию», но при этом могли повлиять на исход тестирования, включались и/или приводились в максимальное положение (наиболее строгие настройки). Другими словами – под выставлением максимальных настроек понимается перевод всех доступных из графического интерфейса пользователя настроек всех модулей, связанных с детектированием вредоносной файловой или сетевой активности, к наиболее строгому варианту.
Тест фаерволов проводился по следующим группам внутренних атак, для наглядности разбитых на уровни сложности:
1. Базовый уровень сложности (56 вариант атак):
1. проверка защиты процессов от завершения (41 вариант атак);
2. защита от стандартных внутренних атак (15 вариантов атак).
2. Повышенный уровень сложности (8 вариантов атак):
1. тестирование защиты от нестандартных утечек (3 варианта атак);
2. тестирование защиты от нестандартных техник проникновения в режим ядра (5 вариантов атак).
Подробное описание всех методов атаки, используемых в тесте, вы можете найти в методологии тестирования.
Проверка фаерволов на защиту от внутренних атак
Тестирование фаерволов проводилось по набору из 64 тестовых кейсов для каждого продукта отдельно (подробные результаты по каждому из них можно посмотреть в отчете в формате Excel).
Напомним, что согласно используемой схеме награждения, 1 балл (+) начислялся, если атака заблокирована автоматически, защитный функционал тестируемой программы не нарушен. 0.5 балла (или +/-) - если атака блокируется только при особых обстоятельствах (например, при правильном выборе пользователя нужного действия по запросу тестируемой программы). И, наконец, в случае если атака прошла успешно полностью или частично с выводом из строя функционала защиты, то баллы не начислялись. Максимально возможное количество набранных баллов в данном тесте составило 64.
В таблице 1-2 и на рисунке 1-2 представлены результаты тестирования фаерволов отдельно на стандартных и максимальных настройках. Для наглядности результаты для каждого фаервола разбиты на две группы: защита от атак базового уровня сложности и защита от атак повышенного уровня сложности.
Таблица 1: Результаты теста фаерволов на стандартных настройках
| Протестированный продукт | Атаки базового уровня сложности (макс. 56 баллов) | Атаки повышенного уровня сложности (макс. 8 баллов) | Всего баллов (макс. 64) | Всего % |
||||
| Баллы | % | % от суммы | Баллы | % | % от суммы | |||
| Comodo | 53 | 95% | 82,8% | 6 | 75% | 9,4% | 59 | 92% |
| Online Armor | 50 | 89% | 78,1% | 7,5 | 94% | 11,7% | 57,5 | 90% |
| Norton | 45 | 80% | 70,3% | 6 | 75% | 9,4% | 51 | 80% |
| Jetico | 46 | 82% | 71,9% | 4,5 | 56% | 7,0% | 50,5 | 79% |
| Outpost | 45 | 80% | 70,3% | 2,5 | 31% | 3,9% | 47,5 | 74% |
| Trend Micro | 42 | 75% | 65,6% | 3 | 38% | 4,7% | 45 | 70% |
| Kaspersky | 42 | 75% | 65,6% | 2,5 | 31% | 3,9% | 44,5 | 70% |
| Dr.Web | 42,5 | 76% | 66,4% | 2 | 25% | 3,1% | 44,5 | 70% |
| TrustPort | 43 | 77% | 67,2% | 0,5 | 6% | 0,8% | 43,5 | 68% |
| G DATA | 42 | 75% | 65,6% | 1 | 13% | 1,6% | 43 | 67% |
| Avast | 41 | 73% | 64,1% | 1 | 13% | 1,6% | 42 | 66% |
| Eset | 41 | 73% | 64,1% | 1 | 13% | 1,6% | 42 | 66% |
| Bitdefender | 41 | 73% | 64,1% | 1 | 13% | 1,6% | 42 | 66% |
| AVG | 41 | 73% | 64,1% | 0 | 0% | 0,0% | 41 | 64% |
| McAfee | 41 | 73% | 64,1% | 0 | 0% | 0,0% | 41 | 64% |
| PC Tools | 41 | 73% | 64,1% | 0 | 0% | 0,0% | 41 | 64% |
| Avira | 40 | 71% | 62,5% | 0 | 0% | 0,0% | 40 | 63% |
| Microsoft | 40 | 71% | 62,5% | 0 | 0% | 0,0% | 40 | 63% |
| F-Secure | 31,5 | 56% | 49,2% | 1 | 13% | 1,6% | 32,5 | 51% |
| Panda | 30 | 54% | 46,9% | 0 | 0% | 0,0% | 30 | 47% |
| Kingsoft | 27 | 48% | 42,2% | 1 | 13% | 1,6% | 28 | 44% |
Рисунок 1: Результаты теста фаерволов на стандартных настройках
Защита от внутренних атак на рекомендуемых производителем настройках оставляет желать лучшего. Только три фаервола смогли преодолеть порог в 80% на стандартных настройках – это Comodo, Online Armor и Norton. Достаточно близко к ним располагаются продукты Jetico (79%) и Outpost (74%). Результаты остальных фаерволов оказались существенно хуже.
По сравнению с результатами прошлого теста все лидеры подтвердили свои высокие результаты, произошли только небольшие перемещения внутри лидирующей группы, например Outpost и Jetico поменялись позициями. Единственно неожиданностью стал продукт Norton, который в прошлом тесте показал результат в 45% и находился в нижней части таблице, а в данном тесте с 80% занял третью позицию.
Полученные результаты связаны с тем, что многие производители выставляют стандартные настройки таким образом, чтобы уменьшить количество сообщений, на которые должен реагировать пользователь. Это подтверждает и результатами теста – на стандартных настройках фаерволы задавали вопросы пользователям только в 5,4% атак, а на максимальных – в 9,2% атак. Однако это сказывается на качестве защиты, которая «промолчит» в ситуации, когда вредоносная программа будет имитировать/производить вполне легитимные действия в системе.
Также следует обратить внимание на две закономерности. Во-первых, процент предотвращения сложных видов атак в целом заметно хуже, чем атак базового уровня сложности. Больше половины таких атак отклонили только четыре продукта - Comodo, Online Armor, Norton и Jetico. Еще четыре продукта вошли в граничную группу, отклонив от 25% до 38% таких атак – это Outpost, Trend Micro, Kaspersky и Dr.Web. Все остальные продукты отклонили не больше одной сложной атаки. Во-вторых, улучшились показатели отражения базовых атак. Если в прошлом тесте 11 (50%) продуктов отклонили меньше 50% атак, то в данном тесте таких продуктов только 3 (14%).
Таблица 2: Результаты теста фаерволов на максимальных настройках
| Протестированный продукт | Атаки базового уровня сложности (макс. 56 баллов) | Атаки повышенного уровня сложности (макс. 8 баллов) | Всего баллов(макс. 64) | Всего % |
||||
| Баллы | % | % от суммы | Баллы | % | % от суммы | |||
| Comodo | 56 | 100% | 87,5% | 8 | 100% | 12,5% | 64 | 100% |
| Bitdefender | 56 | 100% | 87,5% | 8 | 100% | 12,5% | 64 | 100% |
| Online Armor | 53 | 95% | 82,8% | 8 | 100% | 12,5% | 61 | 95% |
| Kaspersky | 53 | 95% | 82,8% | 7 | 88% | 10,9% | 60 | 94% |
| Norton | 50,5 | 90% | 78,9% | 8 | 100% | 12,5% | 58,5 | 91% |
| PC Tools | 49,5 | 88% | 77,3% | 5,5 | 69% | 8,6% | 55 | 86% |
| Outpost | 49 | 88% | 76,6% | 5,5 | 69% | 8,6% | 54,5 | 85% |
| Eset | 49 | 88% | 76,6% | 5,5 | 69% | 8,6% | 54,5 | 85% |
| Dr.Web | 46,5 | 83% | 72,7% | 5 | 63% | 7,8% | 51,5 | 80% |
| Jetico | 46 | 82% | 71,9% | 4,5 | 56% | 7,0% | 50,5 | 79% |
| Trend Micro | 43 | 77% | 67,2% | 3 | 38% | 4,7% | 46 | 72% |
| TrustPort | 43 | 77% | 67,2% | 2,5 | 31% | 3,9% | 45,5 | 71% |
| G DATA | 42 | 75% | 65,6% | 3 | 38% | 4,7% | 45 | 70% |
| Avira | 41,5 | 74% | 64,8% | 2 | 25% | 3,1% | 43,5 | 68% |
| Avast | 41 | 73% | 64,1% | 1,5 | 19% | 2,3% | 42,5 | 66% |
| AVG | 41 | 73% | 64,1% | 0 | 0% | 0,0% | 41 | 64% |
| McAfee | 41 | 73% | 64,1% | 0 | 0% | 0,0% | 41 | 64% |
| Microsoft | 40 | 71% | 62,5% | 0 | 0% | 0,0% | 40 | 63% |
| F-Secure | 31,5 | 56% | 49,2% | 1 | 13% | 1,6% | 32,5 | 51% |
| Panda | 30 | 54% | 46,9% | 0 | 0% | 0,0% | 30 | 47% |
| Kingsoft | 27 | 48% | 42,2% | 1 | 13% | 1,6% | 28 | 44% |
Рисунок 2: Результаты теста фаерволов на максимальных настройках
При включении максимальных настроек качество защиты от внутренних атак у многих протестированных фаерволов значительно повысилось. Особенно это заметно у крепких середнячков. Все лидеры прошлого теста в данном тесте также показали высокие результаты. Из изменений стоит отметить продукт Bitdefender, который наряду с Comodo, показал 100% результат и продукт Norton, переместившийся в лидирующую группу.
Результаты ряда продуктов на стандартных и максимальных настройках оказались одинаковыми. Это связанно с тем, что данные продукты не имеют настроек, способных повлиять на результаты нашего теста.
Сравнение качества защиты на стандартных и максимальных настройках
В соответствии с логикой данного теста мы не будем проводить суммирование или усреднение результатов одного и того же продукта с различными настройками. Напротив, мы хотим их сопоставить и показать существенные отличия в качестве защиты протестированных продуктов в зависимости от используемых настроек.
Для наглядности мы приводим итоговые результаты теста фаерволов со стандартными и максимальными настройками в таблице 3 и на рисунке 3.
Таблица 3: Сводные результаты теста фаерволов на стандартных и максимальных настройках
|
Продукт |
Стандартные настройки | Максимальные настройки |
| Comodo | 92% | 100% |
| Online Armor | 90% | 95% |
| Norton | 80% | 91% |
| Jetico | 79% | 79% |
| Outpost | 74% | 85% |
| Trend Micro | 70% | 72% |
| Kaspersky | 70% | 94% |
| Dr.Web | 70% | 80% |
| TrustPort | 68% | 71% |
| G DATA | 67% | 70% |
| Avast | 66% | 66% |
| Eset | 66% | 85% |
| Bitdefender | 66% | 100% |
| AVG | 64% | 64% |
| McAfee | 64% | 64% |
| PC Tools | 64% | 86% |
| Avira | 63% | 68% |
| Microsoft | 63% | 63% |
| F-Secure | 51% | 51% |
| Panda | 47% | 47% |
| Kingsoft | 44% | 44% |
Рисунок 3: Сводные результаты теста фаерволов на стандартных и максимальных настройках
Рисунок 3 очень наглядно демонстрирует разницу в результатах теста в зависимости от выбранных настроек.
Во-первых, только два продукта – Comodo и Online Armor показывают близкие к максимальным показатели защиты, как на стандартных, так и на максимальных настройках.
Во-вторых, при изменении стандартных настроек предложенных производителем, часть продуктов показывает существенно лучший уровень защиты. Наиболее ярко это видно на таких продуктах как Bitdefender, Kaspersky, Eset, F-Secure и PC Tools.
В-третьих, как уже отмечалось выше, некоторые из протестированных продуктов вовсе не имеет настроек, которые каким-либо образом могли бы повлиять на результаты теста. Поэтому их результаты на всех типах настроек в данном тесте одинаковы. К этой группе относится Jetico, Avast, AVG, McAffe, F-Secure, Panda, Kingsoft и Microsoft.
В итоговой оценке не учитываются ситуации, когда атака была отражена, однако при этом возникали проблемы с пользовательским интерфейсом продуктов. В большинстве случаев проблемы заключались в «вылетании» интерфейса на непродолжительное время (от 2 до 10 секунд) или до следующей загрузки операционной системы. Несмотря на то, что при проблемах с пользовательским интерфейсом продукты продолжали обеспечивать защиту, наличие таких проблем субъективно воспринимается негативно и может влиять на предпочтения в выборе продуктов. Количество проблем с пользовательским интерфейсом представлено в таблице 3 и на рисунке 3. Оценивались ошибки, возникающие при атаках 1 уровня, общее количество которых – 41.
Таблица 4: Количество проблем с пользовательским интерфейсом на стандартных и максимальных настройках
| Протестированный продукт | Стандартные настройки | Максимальные настройки | ||
| Количество ошибок | % | Количество ошибок | % | |
| McAfee | 34 | 83% | 34 | 83% |
| Microsoft | 33 | 80% | 33 | 80% |
| Kingsoft | 20 | 49% | 20 | 49% |
| F-Secure | 19 | 46% | 19 | 46% |
| Panda | 17 | 41% | 17 | 41% |
| Jetico | 16 | 39% | 16 | 39% |
| PC Tools | 13 | 32% | 13 | 32% |
| Trend Micro | 12 | 29% | 12 | 29% |
| AVG | 10 | 24% | 9 | 22% |
| TrustPort | 9 | 22% | 9 | 22% |
| G DATA | 9 | 22% | 9 | 22% |
| Bitdefender | 8 | 20% | 8 | 20% |
| Norton | 6 | 15% | 6 | 15% |
| Avast | 5 | 12% | 5 | 12% |
| Outpost | 5 | 12% | 5 | 12% |
| Eset | 5 | 12% | 4 | 10% |
| Comodo | 5 | 12% | 0 | 0% |
| Avira | 2 | 5% | 2 | 5% |
| Dr.Web | 2 | 5% | 2 | 5% |
| Kaspersky | 1 | 2% | 1 | 2% |
| Online Armor | 1 | 2% | 1 | 2% |
Рисунок 4: Количество проблем с пользовательским интерфейсом на стандартных и максимальных настройках
Полученные результаты показывают, что у продуктов McAfee и Microsoft проблемы с пользовательским интерфейсом возникали при большинстве атак (более 80%). Это можно назвать неприемлемым уровнем, т.к. практически любая успешно отраженная атака приведет к проблемам. Достаточно плохие результаты, лежащие в диапазоне от 30% до 50%, показывают продукты Kingsoft, F-Secure, Panda, Jetico и PC Tools. При их использовании каждая 2-3 атака будет приводить к проблемам с интерфейсом. Еще целый ряд продуктов показывают результаты от 10% до 30%, которые можно назвать удовлетворительными. Хорошие результаты показали продукты Avira, Dr.Web, Kaspersky и Online Armor, проблемы у которых возникали в диапазоне от 2% до 5% атак. Единственным продуктом, у которого ни разу не возникло проблем с пользовательским интерфейсом был Comodo на максимальных настройках, что можно признать отличным результатом. Однако при стандартных настройках результат Comodo ухудшается (12%), что говорит о том, что использование данного продукта требует определенных знаний по его настройке.
Итоговые результаты теста и награды
Так же, как и в предыдущем тесте, мы не усредняли результаты одного и того же продукта с различными настройками, а рассматривать их независимо друг от друга. Таким образом, каждый из протестированных продуктов может получить две награды, по одной на каждом виде настроек.
В соответствие со схемой награждения лучшие фаерволы получают награды с указанием использованных при этом настроек, см. таблицу 4.
Таблица 5: Итоговые результаты теста фаерволов на стандартных и максимальных настройках
| Тестируемый продукт | Вариант настроек |
Предотвращение атак [%] | Всего [%] |
Награда | |
| Базовый уровень сложности |
Повышенный уровень сложности | ||||
| Comodo | Max | 100% | 100% | 100% |  Platinum Firewall Outbound Protection Award |
| Bitdefender | Max | 100% | 100% | 100% | |
| Online Armor | Max | 95% | 100% | 95% |  Gold Firewall Outbound Protection Award |
| Kaspersky | Max | 95% | 88% | 94% | |
| Comodo | Standard | 95% | 75% | 92% | |
| Norton | Max | 90% | 100% | 91% | |
| Online Armor | Standard | 89% | 94% | 90% | |
| PC Tools | Max | 88% | 69% | 86% | |
| Outpost | Max | 88% | 69% | 85% | |
| Eset | Max | 88% | 69% | 85% | |
| Norton | Standard | 80% | 75% | 80% | |
| Dr.Web | Max | 83% | 63% | 80% | |
| Jetico | Max | 82% | 56% | 79% |  Silver Firewall Outbound Protection Award |
| Jetico | Standard | 82% | 56% | 79% | |
| Outpost | Standard | 80% | 31% | 74% | |
| Trend Micro | Max | 77% | 38% | 72% | |
| TrustPort | Max | 77% | 31% | 71% | |
| Trend Micro | Standard | 75% | 38% | 70% | |
| Kaspersky | Standard | 75% | 31% | 70% | |
| Dr.Web | Standard | 76% | 25% | 70% | |
| G DATA | Max | 75% | 38% | 70% | |
| TrustPort | Standard | 77% | 6% | 68% |  Bronze Firewall Outbound Protection Award |
| Avira | Max | 74% | 25% | 68% | |
| G DATA | Standard | 75% | 13% | 67% | |
| Avast | Max | 73% | 19% | 66% | |
| Avast | Standard | 73% | 13% | 66% | |
| Eset | Standard | 73% | 13% | 66% | |
| Bitdefender | Standard | 73% | 13% | 66% | |
| AVG | Max | 73% | 0% | 64% | |
| AVG | Standard | 73% | 0% | 64% | |
| McAfee | Max | 73% | 0% | 64% | |
| McAfee | Standard | 73% | 0% | 64% | |
| PC Tools | Standard | 73% | 0% | 64% | |
| Microsoft | Max | 71% | 0% | 63% | |
| Microsoft | Standard | 71% | 0% | 63% | |
| Avira | Standard | 71% | 0% | 63% | |
| F-Secure | Max | 56% | 13% | 51% | Нет награды |
| F-Secure | Standard | 56% | 13% | 51% | |
| Panda | Max | 54% | 0% | 47% | |
| Panda | Standard | 54% | 0% | 47% | |
| Kingsoft | Max | 48% | 13% | 44% | |
| Kingsoft | Standard | 48% | 13% | 44% | |
Лучшие результаты в тесте показали фаерволы Comodo и Bitdefender, набравшие 100% баллов на максимальных настройках. Эти два продукта получают награду Platinum Firewall Outbound Protection Award.
Очень высокие результаты в тесте (свыше 80%) также показали фаерволы Online Armor, Kaspersky, Comodo, Norton, PC Tools, Outpost, Eset и Dr.Web, которые получают награды GoldFirewall Outbound Protection Award. Важно отметить, что Comodo получил данную награду на стандартных настройках, Online Armor и Norton на стандартных и максимальных настройках, а все остальные – только на максимальных настройках.
Далее по списку расположилась группа из семи фаерволов, чьи результаты попадают в диапазон от 60% до 70%. Это Outpost, Kaspersky и Dr.Web на стандартных настройках; TrustPort и G DATA на максимальных настройках, а также Jetico и Trend Micro одновременно на стандартных и максимальных настройках. Все они получают награду Silver Firewall Outbound Protection Award.
Достаточно большая группа продуктов, попавших в диапазон от 60% до 70%, получает награду Bronze Firewall Outbound Protection Award. В ней следует отметить продукты Eset и Bitdefender на стандартных настройках, которые на максимальных настройках смогли отразить существенно большее количество атак.
Ознакомиться с подробными результатами теста и убедиться в правильности итоговых расчетов можно, скачав результаты теста в формате Microsoft Excel.
Шабанов Илья, управляющий партнер Anti-Malware.ru:
«Очень обрадовал тот факт, что очень многие производители заметно улучшили проактивную защиту от внутренних атак и самозащиту в своих продуктах. Нам пришлось даже пересмотреть схему награждения, чтобы поднять планку требований. Результат менее 51% баллов теперь стал рассматриваться как полностью провальный.
Приятно удивил, Bitdefender отразившие в параноидальном режиме все 100% атак, Eset и Dr.Web с результатами на максимальных настройках 85% до 80% соответственно, а также новичок наших тестов TrustPort. В «золотую группу» продуктов по результатам этого теста попали фаерволы Comodo, Norton и Online Armor, набравшие более 80% на стандартных и максимальных настройках. Стабильно высокие результаты в тестах, затрагивающих проактивную защиту, продемонстрировали Kaspersky, Outpost, PC Tools.
Однако в случае целого ряда протестированных продуктов непонятна логика, по которой выставляются стандартные настройки. В результате уровень защиты большинства пользователей, привыкших использовать защиту со стандартными настройками, оказывается существенно заниженным. В первую очередь это относится к продуктам Bitdefender, Kaspersky, Eset и PC Tools».
Картавенко Михаил, руководитель тестовой лаборатории Anti-Malware.ru:
«Рассматривая данный тест как продолжение прошлого аналогичного теста, можно обозначить несколько основных тенденций и проблем в работе фаерволов.
Во-первых, в среднем большинство продуктов показали лучшие результаты, чем 1.5 года назад, однако сделали они это в основном за счет отражения самых простых атак 1 уровня. Более сложные атаки «по зубам» только ограниченному кругу продуктов.
Во-вторых, даже если сработала защита процессов от завершения (1 уровень атак), у многих продуктов «вылетает» пользовательский интерфейс. Это ставит пользователя в неудобное положение, в котором он не понимает – работает ли защита или уже нет.
В-третьих, существует достаточно большой разрыв в работе фаерволов на стандартных и максимальных настройках. В результате приемлемый уровень защиты зачастую могут получить только опытные пользователи, которые знают и умеют правильно настраивать работу фаерволов.
Таким образом, тест выявил «болевые» точки современных фаерволов, решение которых может улучшить их защиту».
Комментарии партнеров Anti-Malware.ru
Константин Кутиков, руководитель AV Lab и отдела тестирования компании Agnitum:
«Как показало тестирование, продукт Outpost занимает первое место по количеству атак, которые были определенны продуктом и которые продукт позволил предотвратить. Для нас это еще одно подтверждение качества работы технологии проактивной защиты, которая неоднократно была отмечена ведущими мировыми тестировочными лабораториями.
Однако проведя большое, тщательное тестирование и получив точные результаты, наши коллеги из Anti-malware.ru несколько странно, на наш взгляд, интерпретировали результаты. Нашему продукты были существенно снижены балы за вопросы пользователю о запрете потенциально вредоносной активности. Другие продукты, которые блокировали те же самые действия без запроса пользователю, такого штрафа не получили.
Основываясь на нашем более чем десятилетнем опыте работы в ядре Windows, мы считаем, что глобально блокировать такие действия для неизвестных security-продукту приложений - это почти 100% вероятность вызывать сбой и неработоспособность системы. Если бы лаборатория попробовала использовать систему или другие приложения при таких настройках, то тестировщики обязательно бы с этим столкнулись.
Поэтому мы уважаем решение пользователя и даем возможность выставить блокировку такой активности на уровне приложений. Наш продукт дает возможность определить и заблокировать самое большое количество атак по данным Anti-malware.ru, причем сделать это самым безопасным для стабильности системы способом - на уровне приложений».
Елена Толь, Руководитель отдела технического маркетинга российского представительства ESET:
«Мы рады, что исследование Anti-Malware.ru подтвердило высокую надежность фаервола ESET NOD32 Smart Security, флагманского продукта нашей персональной линейки. В следующем, седьмом поколении домашних решений ESET NOD32 мы планируем расширить систему проактивной защиты ESET, внедрив новые технологии для предотвращения заражений через известные уязвимости, а также для детектирования глубоко зашифрованных вредоносных файлов.
Безусловно, фаервол является неотъемлемой частью всей системы проактивной защиты и одним из ключевых компонентов полноценного ИБ-продукта. Но нельзя упускать из виду, что современное антивирусное решение – каким является ESET NOD32 Smart Security – это не набор разрозненных функций, а комплексный продукт, все компоненты которого (антивирус, антиспам, антифишинг, HIPS и т. д.) дополняют друг друга, обеспечивая многоступенчатую защиту от новейших информационных угроз».
Вадим Волков, руководитель проектов компании ДинаСофт, официального дистрибутора TrustPort в России:
«Я считаю положительным фактом, что Anti-Malware.ru наконец-то включил продукты TrustPort в свои тесты. В результате тестов российские пользователи смогли убедиться, что TrustPort Internet Security обеспечивает вполне достойную защиту, превосходя ряд более именитых конкурентов. В сочетании с одним из самых высоких детектов вредоносных программ, обеспечиваемый мультидвижковым сканером, получается неплохой выбор для пользователей, которые ищут замену используемому антивирусу.
Надеюсь, что TrustPort учтёт результаты теста в своих будущих разработках и они будут лучше защищены от внутренних атак».
Илья Рабинович, основатель и генеральный директор SoftSphere Technologies:
«Сразу бросается в глаза, что производители, в угоду простоте использования своих продуктов, уменьшают степень защищённости пользователей. Причём, в некоторых случаях, довольно-таки серьёзно (например, BitDefender). Полагаю, что, также, во многом, это связано с "заточкой" под тесты Matousec, где продукты тестируются только с максимальными настройками, без проверки режима "по умолчанию". В результате, по тестам Matousec продукт имеет высокие рейтинги защиты, но в реальном использовании обычным пользователем, который использует их лишь по умолчанию и не устанавливает настройки на максимум, очевидно, опасаясь "что-нибудь сломать", не способен предоставить приемлемый уровень защиты.»
Авторы:
Картавенко Михаил
Пушкарев Олег
Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться