Методология теста родительских контролей (декабрь 2012)

В ходе открытого обсуждения для участия в тесте были отобраны 15 продуктов. Часть из них представляет собой специализированные продукты для фильтрации нежелательных для детей и подростков сайтов (родительского контроля). Другая часть - комплексные продукты защиты класса Internet Security, в которых модуль родительского контроля является всего лишь одним из множества модулей.

В итоге в данном тесте приняли участие следующие продукты с функциями родительского контроля актуальных версий на дату начала тестирования и специализированные сервисы:

1. Avira Internet Security 2013 (13.0.0.2832)
2. Bitdefender Internet Security 2013 (16.24.0.1684)
3. ContentKeeper Express
4. Dr.Web Security Space 8.0 (8.0.0.11210)
5. Entensys KinderGate Parental Control 1.5.6371
6. F-Secure Internet Security 2013 (1.71)
7. Kaspersky Internet Security 2013 (13.0.1.4190)
8. McAfee Internet Security 11.6
9. NetPolice Child
10. Norton Internet Security 2013 () + Norton Safety Minder
11. Panda Internet Security 2013 (18.00.01)
12. SkyDNS
13. Trend Micro Titanium Maximum Security 2013 (6.0.1215)
14. Microsoft Windows Live Family Safety («Семейная безопасность» Windows Live) *
15. Интернет Цензор 2.2

* «Семейная безопасность» Windows Live является бесплатной и значительно расширяет базовые возможности родительского контроля, интегрированного в Windows 7. Microsoft рекомендует использовать именно «Семейную безопасность» для защиты детей от нежелательного контента в сети.

- Предпочтение отдавалось англоязычным версиям, т.к. возможны ситуации (как, например, с Avira), когда базы родительского контроля в решении с русской локализацией значительно отстают по времени выпуска.

- При тестировании использовались настройки программ "по умолчанию" с некоторыми корректировками: для родительского контроля включалась только фильтрация содержания «для взрослых», включая сайты по половому воспитанию (например, статьи Wikipedia) и «взрослый юмор». Контроль всех остальных категорий отключался.

- Если программа предлагала создать пользовательские профили, то это игнорировалось. Принудительно создавался профиль только с категориями, касающимися порнографии и эротики (где это было необходимо).

- Также в тесте не учитывалась возможность использования безопасного поиска, которую  нельзя отнести к собственным технологиям фильтрации родительского контроля.

Тестовый стенд

Тест проводился октябре-ноябре 2012 под операционной системой Microsoft Windows 7 x64 SP1 (Домашняя Расширенная) со всеми установленными обновлениями на момент запуска теста. В качестве браузера использовался стандартный для этой операционной системы Internet Explorer 9.

Для параллельного тестирования всех родительских контролей исходный образ операционной системы виртуализировался при помощи VMWare Player и клонировался под каждый тестируемый продукт.

Обновление баз у всех тестируемых продуктов было произведено в один день с минимально возможным расхождением во времени (несколько часов). Для обновления виртуальные машины запускались в алфавитном порядке. После этого функция автоматического обновления во всех продуктах принудительно отключалась. Все остальные родительские контроли проверялись последовательно в алфавитном порядке.

Исключением были «Семейная безопасность» Windows Live, SkyDNS и ContentKeeper Express, которые обращаются к серверам в «облаке» в режиме онлайн и, таким образом, всегда имеет актуальные базы. Именно поэтому эти продукты тестировались первыми во избежание создания для них особого преимущества (до отключения обновлений у других).

В настройках тестируемых продуктов включалась фильтрация только «сайтов для взрослых», все остальные категории выключались.  Активировались дополнительные настройки фильтрации, например, морфологический анализ, а автоматическое обновления баз, напротив, отключалось (где это возможно).

В ходе тестирования пришлось применять особые настройки для «Интернет Цензора», так как, по умолчанию, продукт, в силу своих особенностей, блокировал все зарубежные сайты без разбора. Поэтому, для данного продукта ползунок настроек был опущен в минимум.

Также особые настройки применялись в KinderGate Parental Control в силу того, что в продукте нет возможности выбрать конкретные категории сайтов для фильтрации. Ползунок его настроек был передвинут таким образом, чтобы был детект эротического контента, но, при этом, минимально затрагивались другие категории сайтов, не относящихся к категории «сайты для взрослых.

Подготовка списка сайтов

Очевидно, что проверить эффективность родительских контролей на всех нежелательных сайтах не представляется возможным в принципе. Поэтому, важнейшей задачей подготовки теста был отбор репрезентативного массива ссылок, который будет корректно отражать эффективность работы родительских контролей на всей генеральной совокупности.

К нежелательным для посещения детей сайтам относятся такие категории как: насилие, наркотики, терроризм, азартные игры, социальные сети и т.п., но, в данном тесте, мы решили ограничиться только проверкой родительских контролей по эффективности блокировки сайтов эротической тематики.

В подавляющем большинстве случаев нежелательный контент ищется детьми в поисковых системах. Поэтому для составления списка сайтов для теста мы использовали  Top-20 поисковых запросов на русском и английском языке порнографической и эротической направленности (статистика Google). По этим запросам во всех трех поисковых системах Яндекс, Google и Bing отбирались два десятка ссылок по граничным условиям:

• 1-10 – наиболее релевантные (высокая вероятность перехода, низкий риск пробоя фильтров);
• 41-50 – менее релевантные (низкая вероятность перехода, высокий риск пробоя фильтров).

 Ссылки на сайты в выдаче поисковиков с 11 по 40 позицию не использовались.

Важно! При отборе ссылок дополнительно применялись следующие правила для отбора поисковых слов и ссылок:

• Если из 50 первых ссылок в результате поиска Google (с опцией "не фильтровать результаты") не удавалось набрать нужного количества релевантных ссылок, выбиралось другое, более точное, ключевое слово.
• В Google игнорировались ссылки с этого же сайта под текущей ссылкой (смещенные табуляцией).
• Если одна и та же ссылка встречалась в нескольких поисковиках, то она использовалась несколько раз.
• Мертвые ссылки исключались. Для их замены приходилось смещаться с позиции 20 вниз и подниматься с 41 вверх.
• Ссылки собирались без использования на компьютере какого-либо защитного ПО.
• Поисковики были настроены на поиск по русскоязычным и англоязычным ресурсам. Когда поисковик возвращал русскоязычный ресурс на англоязычный запрос, он принимался и заносился в список.

Таким образом, было собрано 800 ссылок на "сайты для взрослых" (400 на русском и 400 на английском языке). Точный список поисковых запросов по соображениям цензуры доступен только представителям производителей по запросу.

Дополнительно в тесте проверялся уровень ложных срабатываний, т.е. ошибочной блокировки родительским контролем легитимных и не содержащих порнографии сайтов или отдельных их страниц.

Для оценки уровня ложных срабатываний нами было отобрано 870 сайтов из рейтинга Top-1000 по версии Alexa.com за вычетом сайтов с явно сомнительной репутацией  (анонимайзеры, рекламные сети с сомнительной репутации, видео-чаты для взрослых и т.п.).

В этом году мы добавили в методологию 3-х недельных "временный отстой" списка, в процессе которого были заменены некоторые линки для черного и белого списков. Были заменены умершие ресурсы, ссылки со спорным контентом (новостные сайты, энциклопедии, сайты с нестабильным доступом) и обнаруженные дубликаты в пределах одной группы.

Важно! При оценке уровня ложных срабатываний игнорировалась спорная позиция некоторых производителей, согласно которой к категории «Порнография» относится ряд популярных сайтов, например, некоторые российские социальные сети, блогосферы или сервисы видеохостинга.

Дело в том, что такие сайты по своей направленности нельзя назвать порнографическими, а, значит, их отнесение к этой категории без разбора и анализа контента отдельных страниц является, по крайней мере, некорректным. С точки зрения обычного пользователя блокировка социальной сети целиком по причине того, что в ней где-то может содержаться порнография, является ложным срабатыванием. Такие спорные сайты правильнее было бы выносить в отдельную категорию, блокировкой которой можно было бы управлять отдельно.

Проведение теста

Все полученные по описанному выше алгоритму ссылки были занесены в таблицу Excel с макросом, который пытался кликать по ссылкам из выделенного диапазона ячеек. В зависимости от результатов загрузки контента или подмены страницы на безопасную выставлялся вердикт: Пропуск или Блок.

Некоторые тестируемые продукты блокировали сам переход по ссылке, например, Avira Internet Security , Dr.Web Security Space и Kaspersky Internet Security. Для них клики делались вручную и за Блок считались как страницы с подмененным содержанием, так и блок самого перехода по ссылке (т.к. в браузере они также подменялись на страницы-сообщения). Если сайт блокировался встроенным антифишингом Microsoft, то делалась его принудительная разблокировка.

Если сайт представлял собой список ссылок на другие сайты (SEO-gateway), то Блок присваивался только в том случае, если блокировались все ссылки из первой страницы каталога, которых в отдельных случаях могло быть более десятка. В противном случае присваивался Пропуск.

Если ссылка приводила на страницу COPAA (мне есть 18/21 или мне нет 18/21), то применялась следующая логика:

1. Если сама страница уже содержала эротическое содержание (фото, рисунок), ставился Пропуск, а клик по совершеннолетию не делался.
2. Если сама страница не содержала эротику, то делался клик по подтверждению совершеннолетия. Далее ставился Блок или Пропуск, в зависимости от результата.

В случае с ложными срабатываниями проверялась возможность загрузки их главной страницы. В зависимости от результата выставлялся вердикт: Pass или Fail.