Привет!
Вобще, я честно не могу понять необходимость этого теста, в том плане, что он показывает. 95% пользователей окно антивируса не открывают вовсе, ну а если кто то откроет, то для одного действия раз в полгода. Пользователь одного продукта раз в полгода потратит 3 секунды, другой 5 секунд. Этот факт нуждается в полном тестировании? Я сомневаюсь, ну это опять же моё личное мнение. Я убеждён, что если пользователь придёт в магазин, спросит совета у продавца "какой мне антивирус купить" и получит ответ "этот хорошо защищает, а у этого окна красивые" - это будет смешно.
Ну да ладно. Хочу предметно порассуждать по методологии. Илья, помнишь, мы в своё время обсуждали, что в тестах не может иметь место какая то доля субъективных оценок и суждений? Ну вот это как раз в эту тему.
Группа испытуемых:
12 человек и все студенты. Мне одному кажется, что 12 человек это слишком мало? Да все как на подбор студенты. Учатся вместе на одну специальность. Это я к тому, что скорее всего образ мышления у большинства из них сходен, к примеру, если я возьму человека лет 40, с образованием лётчика и работающего преподавателем. Он себя также будет вести при работе с интерфейсом продукта? Это первый момент, есть второй момент: где гарантии, что перед тем как тестировать продукт одного вендора группа студентов вместе не готовилась к зачёту или что либо отмечала? На следующий день они конечно же долго делали каждое действие в GUI и много ошибались, продукту был записан плохой результат, а на следующий день студенты были уже отдохнувшие и следующего вендора протестировали без проблем. Обязательно брать большую группу людей разного возраста и рода деятельности. А так получается, что у нас все 100% пользователей студенты - психологи. Как вы пишите "буржуи" берут 6 человек, ну пусть так, но сами же вы пишите, что это шесть случайных человек.
Едем дальше...
Список типовых действий ничем не подкреплён, да и если честно, выглядит смешно.
"Настройка типа реагирования на обнаруженную угрозу – «Добавлять в карантин» или «Спрашивать у пользователя»." - вот, к примеру, я знаю где в интерфейсе это находится, но использовать мне это не приходилось ниразу, просто необходимости не было, при том, что я взаимодействую с AV "чуть" больше, чем обычные пользователи. Скажите, где в этом списке такие действия, которые действительно делают все пользователи:
- Настройка при установке (юзабильность инсталятора).
- Выбор действий на алертах.
- Включение и отключение защиты (!!! кстати использует большинство моих знакомых, когда у них какой то кряк детектится или просто ресурсы высвободить системе нужно, кстати, пункт очень показательный, у некоторых АВ одна большая удобная кнопка, а у некоторых нужной каждый компонент в настройках найти и выключить, чтобы прекратил ресурсы жрать).
Это три пункта, которые я придумал за 3 минуты. Не понимаю с чего были взяты некоторые пункты, присутствующие в методологии. Хоть бы тех же студентов опросили, что они делают с антивирусом, неужели так сложно было.
Далее мой взгляд упал на пункт, название которого мне пришлось перечитать 3 раза, я не поверил, что действительно такое я могу найти в тесте "Субъективная удовлетворенность". Действительно, оказался самый худший вариант:
"Субъективная удовлетворенность оценивается на основе анкетирования пользователей после работы с приложением.".
Большинство пользователей имеют в голове кучу стереотипов вроде "Касперский тормозит" - что им мешало просто хорошо написать про "любимый" антивирус, а тому, который им просто по жизни не нравится испортить результат? Это же субъективное их мнение о продукте, так? Вы сможете доказать, что оно составлено на основе общения с GUI в период проведения теста и только? Больше тут комментировать не стану, иду дальше...
"Техническая эстетика"
Почему в методологии не указано, какая локализация продуктов бралась? Я помню, что на AM существует универсальное правило для всех тестов: брать с Global сайтов вендоров английские локализации, потому как они как правило самые свежие.
Тогда я после просмотра результатов теста и методологии имею все основания говорить, что в тесте могли принимать участие английские локализации продуктов.
Тогда возникает вопрос, вы их что, по ГОСТам оценивали? С чего взято, что не Российские локализации, которые соответственно не в РФ поставляются, должны отвечать требованиям ГОСТа РФ о технической эстетики? Локализация должна картинками, анимацией, шрифтами и т.д. отвечать требованиям той страны, где она используется. Это либо большой фэйл всего теста, либо большое упущение в методологии.
Ну и так далее, я думаю, понятно, насколько неприлично для теста, данный материал изобилует субъективными оценками.
вот нифига себе оказывается, действительно, в магазине спрашивают про GUI, а в интернете смотрят скриншоты окон и выбирают что купят? Илья, прости конечно, но конкретно эта фраза - бред.