Итак, рискну продолжить разговор
Согласен для определения качественных непрерывных показателей хороший вариант.
У нас есть три основных этапа:
1. Снятие абсолютных показателей.
2. Вычисление качественных показателей относительно идеала.
3. Анализ полученных результатов и принятие решения.
Первые два пункта вроде разобраны, делается все довольно просто.
Что касается третьего пункта, то соображения у меня следующие:
1) Выделить группы критериев как предлагает Сергей, например "быстрый сканер", "самый легкий ав-монитор" и "минимальную нагрузку на ОС"
2) Далее необходимо раздать награды.
Самым объективным способом в таком случае, по-моему мнению, будут не распределение по результату и определение границ, а использование метода Парето, то есть выбор наилучшего решения, я думаю многие с ним знакомы и сводиться он к очень простым операциям для определения группы наилучших решений:
1) Отсеиваются все решения, которые имеют показатели хуже по всем критериям.
2) Далее остаются решения, которые лучше всех по одному показателю, но хуже по другому. Они как раз и будут наилучшим выбором (множеством наилучших решений). Им стоит дать наивысшие медали (Gold). Для определения лучших из лучших уже необходимы веса важности для каждого параметра, а это уже совсем другая песня, и я думаю пользователь их сможет расставить сам.
3) Что касается остальных медалей более низкого уровня, то берется подмножество отсеянное в п.1 и производиться следующая итерация для получения наград Silver. Для бронзовых наград еще одна итерация.
В итоге мы получим как раз эшелонированность (4 эшелона), причем неплохо обоснованную.
Что скажете?
Что касается общих наград (сравнение между выделенными группами критериев), то здесь уже по-любому необходимы приоритеты важности для каждого критерия, а также функция свертки, и это уже довольно нетривиально и требует очень большого количества времени дополнительно, вообщем по мне этот этап - "овчина не стоит выделки".