Тест эргономичности (удобства использования) персональных антивирусов (июль 2012)

При выборе персональных антивирусов одним из главных критериев является качество защиты, которое они должны обеспечивать. Однако, если по данному показателю результаты у нескольких продуктов близки, то пользователь начинает обращать внимание на другие характеристики продуктов - их производительность и удобство работы с продуктом.

Регулярное проведение тестов быстродействия антивирусов на нашем сайте показало, что у пользователей существует устойчивый интерес к тому, как быстро работают антивирусы и какое влияние они оказывают на работу компьютера. Поэтому, мы решили сделать следующий шаг и провести тестирование удобства использования (юзабилити, эргономичности) антивирусов.

Сложность поставленной задачи связана с двумя факторами - необходимостью оценивать субъективные предпочтения пользователей и отсутствием валидного, признанного всеми инструментария для проведения такого рода тестов.

Методология тестирования »
Анализ результатов теста и схема награждения »

Оглавление:

- Введение
- Оценка скорости работы пользователей
- Оценка количества ошибок пользователей
- Оценка скорости обучения
- Оценка субъективной удовлетворенности
- Оценка технической эстетики
- Итоговая оценка эргономичности
- Обобщенные результаты эргономичности

Введение

Опыт проведения тестов показывает, что методы измерения и обработки различных показателей производительности, которые можно измерять объективно, порождают большое количество различных мнений и споров. Измерение же субъективных характеристик может вызвать еще большее количество различных мнений.

Поэтому, мы предлагаем рассматривать данное тестирование не как абсолютную оценку удобства использования разных продуктов, а как «пробный камень», который породит конструктивную дискуссию и позволит выработать методы и инструменты оценки эргономичности продуктов в области информационной безопасности, признаваемые как экспертным сообществом, так и обычными пользователями.

В тестировании участвовали следующие персональные антивирусы (актуальных версий на момент начала тестирования - 04.06.2012):

1. Avast! Internet Security 7 (версия 7.0.1426).
2. Dr.Web Security Space 7 (версия 7.0.0.10140).
3. Eset Smart Security 5 (версия 5.2.9.12).
4. Kaspersky Internet Security 2012 (версия 12.0.0.374).
5. Norton Internet Security 2012 (версия 19.07.2015).

Комплексный показатель эргономичности оценивался на основе пяти частных показателей – скорости работы пользователей, количества ошибок пользователей, скорости обучения, субъективной удовлетворенности и технической эстетике. Последовательно рассмотрим результаты пяти оцениваемых продуктов по данным показателям.

В качестве эталона, с которым сравнивались результаты всех продуктов, использовалась абстракция «идеальный» продукт. Под «идеальным» понимается продукт, который выполняет все операции за минимальное время, при работе с которым не возникает ошибок из-за его «дружественности» и «интуитивной понятности», он содержит все возможные средства обучения и реализует непротиворечивую информационную модель и т.д. Все оценки (в процентах) показывают их отличие от показателей «идеального» продукта, эргономичность которого принимается за 100%.

Представил логику проведения теста, перейдем к анализу полученных результатов.

Оценка скорости работы пользователей

Скорость выполнения действий пользователем влияет на итоговую эффективность всей деятельности и субъективную удовлетворенность при работе с антивирусом. Чем меньше времени и действий нужно совершить пользователю для достижения своей цели, тем удобство использования пользовательского интерфейса будет выше.

Для оценки скорости работы пользователей при работе с персональным антивирусом на основе метода GOMS рассчитывалось время выполнения 10 действий. В таблице 1 представлено время выполнения на каждое действия по всем антивирусам.

Таблица 1. Время выполнения действий (секунды) и количество операция (шагов) для каждого действия

Минимальное время на выполнение всех действий пользователь потратит при работе с антивирусами Avast (121 секунда) и Kaspersky (124 секунды), чуть больше потребуется времени при работе с антивирусами Norton (141 секунда) и Dr.Web (142 секунды), а максимальное время придется затратить при работе с антивирусом Eset (160 секунд).

Таким образом, разница между минимальным и максимальным временем выполнения всех действий между антивирусами составляет 39 секунд, что достаточно много.

У Avast и Kaspersky по 5 действиям имеют минимальное время выполнения, у Norton данный показатель равняется трем, а у Dr.Web и Eset только одно действие выполняется за минимальное время.

Чтобы численно оценить результаты по параметру «скорость работы пользователей», сравним время выполнения всех действий для каждого протестированного продукта и «идеальным» (минимальное время выполнения по всем действиям).

В методологии указывается схема подсчета итоговой оценки – увеличение времени на 2 секунды относительно «идеального» продукта приводит к уменьшению итоговой оценки в 100% на 1%.

В этом случае результаты Avast (88%) и Kaspersky (87%) можно признать отличными, Norton (79%) и Dr.Web (78%) – хорошими, а Eset (69%) – удовлетворительными. Полученные данные представлены на рисунке 1.

Рисунок 1. Оценка времени выполнения действий в антивирусах группой пользователей

Качественный анализ полученных данных показывает, что наибольшие различия во времени наблюдаются на таких операциях, как настройка сканирования по расписанию и добавление в доверенные программы для сетевого экрана. Именно за счет оптимизации работы с этими действиями часть продуктов может улучшить свои показатели. В то же время запуск полного сканирования и запуск обновлений во всех антивирусах выполняется за практически одинаковое минимальное время.

Оценка количества ошибок пользователей

Ошибки, возникающие при работе с программами, пользователи, чаще всего, склонны приписывать неудобству пользовательского интерфейса и достаточно редко относят на свой счет. Поэтому, «идеальная» программа должна иметь интуитивно понятный интерфейс и учитывать особенности восприятия, внимания и мышления пользователя. В этом случае количество ошибок будет стремиться к минимуму, а работа с программой будет восприниматься как удобная.

Согласно методологии в нашем тесте пользователи в течение часа знакомились с работой программы и, после этого, выполняли 10 действий, время которых оценивалось в первом показателе. Так как пользователи работали с программой ограниченное время, то в их работе возникали ошибки, которые более опытные пользователи (работающие с тестируемыми антивирусами месяцы или годы) не совершили бы.

Однако, мы сознательно ставили задачу смоделировать именно такую ситуацию, когда знаний о программе может не хватать и пользователи будут совершать ошибки. Это позволяло увидеть «дружественность» пользовательского интерфейса, т.е., то, насколько программы своим устройством помогают выполнить нужную последовательность действий и защищаются от банальных ошибок пользователей. Полученные результаты представлены в таблицах 2 и 3.

Таблица 2. Количество ошибок при выполнении действий в антивирусах, штук

Таблица 3. Типы ошибок при выполнении действий в антивирусах и итоговая оценка

Меньше всего ошибок пользователи совершили при работе с антивирусом Kaspersky (23 ошибки), немного большее количество ошибок возникло при работе с Dr.Web (26 ошибок), Avast (27 ошибок) и Eset (29 ошибок), максимально количество ошибок возникло при работе с антивирусом Norton (37 ошибок).

Чтобы численно оценить результаты по данному параметру, сравним время выполнения всех действий между каждым продуктом и «идеальным» продуктом, при работе с которым пользователи не ошибаются (он имеет ноль ошибок).

Все виды ошибок были разделены на два типа – критичные (недостижение цели) и некритичные (моторные ошибки, опечатки, неправильное «считывание» значений из индикаторов, отклонения в последовательности действий, которые все же закончились правильным выполнением действия).

В методологии указывается схема подсчета итоговой оценки – уменьшение на 1% за каждую критическую ошибку и 0,5% - за каждую некритическую ошибку начального показателя в 100%. В этом случае результаты Kaspersky (81%) можно признать отличными, Dr.Web (77%), Avast (76%) и Eset (75%) – хорошими, а Norton (68%)– удовлетворительными. Полученные данные представлены на рисунке 2.

Рисунок 2. Оценка количества ошибок пользователей при работе с антивирусами

Качественный анализ полученных данных показывает, что наибольшие количество ошибок возникло у пользователей при настройке сканирования по расписанию. На этом общие тенденции заканчиваются.

Так, при работе с Dr.Web много ошибок возникало при поиске инструмента для просмотра отчетов (пользователей дезориентировало отсутствие централизованного инструмента для просмотра отчетов) и добавление программы в исключения.

При работе с Avast и Eset проблемы возникали при добавлении программы в доверенные для сетевого экрана, а при работе с Norton – при проведении выборочной проверки указанной директории и просмотре отчетов. Оптимизация указанных действий может уменьшить ошибки, совершаемые пользователями.

При этом ряд действий практически не вызвал ошибок – запуск полного сканирования, запуск обновления, восстановление файла из карантина, поиск в справке, настройка типа реагирования на обнаруженные угрозы.

Оценка скорости обучения пользователей

Скорость обучения пользователей в нашей методологии определяется путем оценки полноты и качества средств обучения и непротиворечивости информационной модели программы. Скорость обучения показывает, насколько быстро пользователь может освоить работу с продуктом и, следовательно, использовать программу по назначению. С другой стороны, при непонимании логики работы программы пользователь больше склонен критиковать устройство программы, чем критически оценивать уровень своего упорства и обучаемости.

Согласно методологии данный показатель измерялся на основе оценок экспертов, которые они давали, работая с анкетами после детального знакомства с продуктами. Результаты оценки экспертами скорости обучения представлены в таблице 4.

Таблица 4. Оценка скорости обучения пользователей, %

По «Скорости обучения» все антивирусы получили отличные оценки. Значения близкие к максимальным получил Eset (93%), чуть меньше получил Kaspersky (88%), замыкают результаты антивирусы Norton (83%), Avast (82%) и Dr.Web (80%).

Таким образом можно сказать, что все производители тестируемых антивирусов уделяют большое внимание средствам обучения пользователей и понятности использования своих продуктов. Итоговые оценки скорости обучения по всем антивирусам представлены на рисунке 3.

Рисунок 3. Оценка скорости обучения

Рассмотрим, из чего складываются полученные оценки, и какие минусы все же были выявлены.

У большинства антивирусов, за исключением Norton, присутствуют элементы управления без контекстной справки или описания, находящегося рядом. Также у большинства антивирусов, за исключением Kaspersky, в документации возможные проблемы и способы их решения не описаны или описаны очень кратко. Полноценные интерактивные материалы (например, видеоуроки по работе с антивирусами) присутствуют на официальных сайтах Kaspersky и Eset и отсутствуют у остальных продуктов. Неудобство у пользователя может вызывать отсутствие локальной справки у Norton.

В антивирусах Avast и Norton отсутствует «сквозная» модель, т.е. отсутствует одинаковое устройство пользовательского интерфейса, настроек и программной документации. В этом случае пользователь будет испытывать затруднения при поиске настроек или описания компонентов, используемых в пользовательском интерфейсе. У антивирусов Dr.Web и Kaspersky «сквозная» модель присутствует, однако есть небольшие различия в структурировании компонентов защиты в пользовательском интерфейсе и их настройках.

В антивирусе Kaspersky встречается дублирование работы с родительским контролем из главного окна программы и из настроек. При этом программа позволяет одновременно запускать два окна настроек «Родительский контроль». У антивирусов Kaspersky и Avast присутствуют окна, имеющие только информационный характер. Это окно «Технология облачной защиты» у Kaspersky и AutoSandbox у Avast. Наличие таких окон может приводить к непониманию логики работ и негативным эмоциям, т.к. пользователь ожидает, что сможет произвести в них какие-либо действия, а на самом деле не может.

У антивирусов Avast и Dr.Web нет централизованных инструментов для работы с отчетами и настройками, в результате чего пользователю приходится переключаться между несколькими окнами и разделами. Также в антивирусах Dr.Web и Norton прогноз времени длительности сканирование приводится некорректно или не приводится.

Оценка субъективной удовлетворенности пользователей

Субъективная удовлетворенность непосредственно показывает, насколько пользователю было эмоционально комфортно работать с продуктом. Этот параметр чаще всего фиксируется для выявления различных «мелочей», которые трудно формализовать и измерить, но которые влияют на удобство использования. Например, наличие единого стиля в пользовательском интерфейсе, наличие объектов, отвлекающих внимание пользователей при длительном ожидании и т.д.

Степень удовлетворенности при работе с программой можно оценить, задав один вопрос – «Было ли Вам удобно при работе с программой?». Однако чтобы более тонко дифференцировать данный показатель мы использовали набор вопросов для оценки различных компонентов антивирусов, на которые пользователи должны были давать оценки по нескольким градациям. В этом случае «идеальный» продукт должен получить максимальные оценки по каждому вопросу, а отклонение оценок пользователей от максимальных значений будет уменьшать итоговую оценку по каждому тестируемому антивирусу. Результаты измерения субъективной удовлетворенности представлены на рисунке 4.

Рисунок 4. Оценка субъективной удовлетворенности пользователей, %

Максимальные результаты по данному показателю получены антивирусом Kaspersky (88%), при этом треть пользователей оценили данный продукт на 100%. Пользователи указывали на интуитивную понятность пользовательского интерфейса как в целом, так и при выполнении различных действий. Хорошие результаты показали антивирусы Eset (78%), Avast (72%) и Norton (70%). Минимальную оценку получил антивирус Dr.Web (52%).

Анализ открытых вопросов показал, что такие низкие его оценки во многом связаны со структурой пользовательского интерфейса, не привычной для многих пользователей. В Dr.Web нет главного окна программы и все действия по работе с антивирусом совершаются при помощи контекстного меню, вызываемого при нажатии на иконку в системном трее.

Оценка технической эстетики антивирусов

Большинство исследований на удобство использования ограничивается оценкой нескольких или всех приведенных выше параметров. Однако, в данном случае, получается, что оценка интерфейса производится только косвенно, и не оценивается визуальная привлекательность интерфейса.

Согласно методологии оценка визуальной привлекательности проводилась двумя методами – путем анкетирования пользователей после работы с продуктом (субъективная составляющая оценки) и путем анализа экспертами на требования ряда ГОСТов по эргономике (объективная составляющая оценки). Из ГОСТов брались устоявшиеся и проверенные временем критерии удобства работы с программными окнами. Полученные результаты представлены в таблице 5.

Таблица 5. Оценка технической эстетики антивирусов, %

По технической эстетике Eset (87%), Kaspersky (84%), Avast (84%) и Norton (81%) получили отличные оценки, а Dr.Web (70%) – хорошую оценку.

Это говорит о том, что все производители тестируемых антивирусов уделяют большое внимание визуальной привлекательности пользовательских интерфейсов.

Итоговые оценки технической эстетики по всем продуктам представлены на рисунке 5.

Рисунок 5. Оценка технической эстетики антивирусов

Рассмотрим проблемы, которые были выявлены при оценке технической эстетики антивирусов.

Для нормального считывания надписей на фоне, рекомендованным является контраст между ними 3:1, а допустимым – 6:1. В антивирусе Dr.Web присутствуют надписи с контрастом менее 6:1, а в Avast, Kaspersky и Norton – меньше, чем 3:1. Также на разрешении монитора 1920*1080 во всех антивирусах, кроме Dr.Web, встречаются надписи, размер шрифта в которых составляет меньше допустимых значений (17 угловых минут или 2,33 мм на расстоянии в 40 см от монитора).

Во всех антивирусах, кроме Norton, встречаются нарушения в стиле используемых программных элементов. Т.е., встречаются либо программные элементы разных стилей или одновременное присутствие стилизованных и стандартных элементов. Например, в Kaspersky в программном окне «Мониторинг сети» используются стандартные вкладки, а в окне для работы с карантином и хранилищем – стилизованные вкладки.

В антивирусах Dr.Web, Kaspersky и Norton присутствуют программные элементы маленького размера (меньше величины курсора), что делает работы с ними затруднительной. Также в Dr.Web и Kaspersky есть пиктограммы, которые не имеют подписей, что может затруднять понимание пользователем их назначения.

Оценивая ответы пользователей, можно выделить те аспекты, которые им наименее всего понравились в антивирусах.

1. Худшая читаемость шрифтов, по мнению пользователей, наблюдается в Dr.Web, понятность пиктограмм была низкой в антивирусах Dr.Web и Norton.
2. У Norton пользователи также указали на перегруженность интерфейса информацией и элементами управления, а у антивируса пользователи Avast низко оценили логичность группировку элементов управления
3. В то же время пользователи для всех антивирусов высоко оценили гармоничность цветового оформления и читаемость текста (кроме Dr.Web).

Итоговая оценка эргономичности антивирусов

На основе полученных оценок по каждому показателю рассчитывается итоговый показатель эргономичности. Согласно методологии итоговая оценка подсчитывалась как сумма всех пяти показателей с учетом принятых весовых коэффициентов. Полученные результаты представлены в таблице 6 и на рисунке 6.

Таблица 6. Общая оценка эргономичности персональных антивирусов, %

Рисунок 6. Общая оценка эргономичности персональных антивирусов

Лучшим по итоговой оценке эргономичности признан Kaspersky Internet Security (86%). Следом за ним идут Eset Smart Security (81%) и Avast Internet Security (80%). В соответствии со схемой награждения этим трём антивирусам присваивается награда Gold Usability Award. На четвертом месте находится антивирус Norton Internet Security (76%) и замыкает список Dr.Web Security Space (70%). Этим двум продуктам присваивается награда Silver Usability Award.

Антивирус Касперского оказался лучшим по субъективной удовлетворенности и минимальному количеству ошибок в работе, Eset получил максимум по показателям скорости обучения и технической эстетике, а Avast показал минимальное время работы пользователей.

Полученные результаты показывают, что производители персональных антивирусов уделяют большое внимание удобству пользовательского интерфейса. Среди тестируемых антивирусов не было явных провалов ни по одному показателю, единственный низкий результат по субъективной удовлетворенности у Dr.Web мы склонны относить на счет «разрыва шаблона» у пользователей, которые привыкли, что у прикладных программ в большинстве случаев работа происходит через главное окно.

 Таблица 7. Итоговые результаты теста на эргономичность (удобство использования) персональных антивирусов

Обобщенные результаты эргономичности антивирусов

Так как в представленном тесте был получен большой массив данных по каждому антивирусу, то в заключение для понимания полученных результатов, мы хотим привести обобщенные оценки продуктов по всем показателям, представленным на лепестковых диаграммах (рисунки 7-11).

Рисунок 7. Обобщенные результаты показателей эргономичности для Kaspersky Internet Security 2012

Рисунок 8. Обобщенные результаты показателей эргономичности для Eset Smart Security 5

Рисунок 9. Обобщенные результаты показателей эргономичности для Avast! Internet Security 7

Рисунок 10. Обобщенные результаты показателей эргономичности для Norton Internet Security 2012

Рисунок 11. Обобщенные результаты показателей эргономичности для Dr.WebSecuritySpace 7

Шабанов Илья, управляющий партнер Anti-Malware.ru:

«Среди специалистов бытует мнение, что для персонального антивируса интерфейс в принципе не важен. Однако пользовательский опыт работы с продуктов формируется во многом под влиянием удобства использования антивирусов и визуальной привлекательности их интерфейсов. Поэтому мы решились на публичное комплексное тестирование удобства антивирусов и сделали это первыми в индустрии!

Именно интерфейс, его эргономичность, в значительной степени формируют субъективное впечатление о продукте и влияют на удовлетворенность пользователя. Субъективная, эмоциональная составляющие очень часто оказываются ключевыми в оценке продукта. В негативных случаях это может стать причиной отказа от использования антивируса, несмотря на его качественную работу по защите компьютера. Результаты нашего теста наглядно демонстрируют, какие интерфейсы антивирусов привлекательны и удобны для пользователей, а какие их скорее разочаровывают».

Михаил Картавенко, руководитель тестовой лабораторииAnti-Malware.ru:

«Реализация данного теста потребовала год работы, большая часть из которой состояла в формулировании методологии для комплексного анализа антивирусов и создания адекватного этой задачи инструментария. Задачу во многом затрудняло то, что предлагаемые тесты данного типа в основном основаны на самоощущении одного человека и только две исследовательских лаборатории проводят их на научных позициях. Правда, под удобством использования они понимают только скорость работы пользователей и наличие ложных срабатываний антивирусов.

Мы же хотели получить комплексную оценку удобства использования, которая бы учитывала разные аспекты взаимодействия пользователей с интерфейсом. И, на мой взгляд, тест эту задачу выполнил. Надеемся, что кто-нибудь из производителей примет результаты теста к сведению, и это поможет улучшить удобство использования антивирусных продуктов.

Отдельно хочу сказать, что данный тест первый в своем роде, и мы будем рады всей конструктивной критике и всем предложениям, которые помогут повысить валидность и достоверность получаемых результатов».

Валерий Ледовской, эксперт Anti-Malware.ru:

«Представленный тест - это первая попытка от лаборатории Anti-Malware.ru обратиться к самой сложной теме, а именно - попытка измерить, по сути, субъективные параметры, удобство использования антивируса. При этом, данная тема достаточно важна при выборе и использовании антивирусных продуктов. Количество угроз растёт, соответственно, защитные программы усложняются. Но, при этом, пользоваться этими программам должны уметь и обычные домашние пользователи.

Результаты данного тестирования оказались достаточно устойчивыми: при попытке уточнить методологию учёта субъективной оценки тестовых пользователей расположение продуктов по окончательной интегральной оценке не изменялось. Тем не менее, экспертное сообщество Anti-Malware.ru высказало ряд предложений по совершенствованию методологии данного тестирования для будущих итераций. В частности, они пообещали учесть такой параметр, как наличие и удобство обращения в техподдержку компании-производителя используемого антивируса. Надеюсь, данное необходимое направление тестирования антивирусных продуктов будет, со временем, развиваться и уточняться».

Кирилл Керценбаум, эксперт Anti-Malware.ru:

«Данный тест, конечно же, вызовет огромное количество возмущенных отзывов и попыток оспорить методику или систему распределения наград. Но разве хоть один из "классических" тестов антивирусов от Anti-Malware.ru, да и не только, не вызывал, как правило, такую же реакцию!? Конечно же, чем более субъективной является система оценки, тем больше критики и несогласия может она вызвать, однако, это совсем не означает, что такой параметр, как эргономика или удобство использования того или иного продукта, должен оставаться без должного внимания со стороны исследователей. Что касается антивирусов, то бесспорно, что для данных продуктов одним из наиболее важных параметров удобства эксплуатации является как можно его большая незаметность, однако нужно учитывать и случаи когда продукту или пользователю, все-таки, необходимо "повзаимодействовать", и тут как раз необходимо понимать, насколько этот процесс будет комфортен и ненавязчив. Возвращаясь к понятию "субъективность", стоит также заметить, что, чем большее количество "субъективных мнений" влияет на финальную оценку, тем она более становится объективной, и её оспаривание теряет всякий смысл».

Авторы: 
Картавенко Михаил
Савченко Артем
Григоренко Оксана
Вартанян Владимир