Перейти к содержанию
Сергей Ильин

План тестов на 2009 года

Recommended Posts

Сергей Ильин

Мы сейчас работаем на планом тестов на 2009 год и хотелось бы услышать ваши предложения.

  1. Какие тесты обязательно должны быть и почему?
  2. Какие очень было бы желательно провести и почему?
  3. От каких тестов стоит отказаться (может и такое нужно) и почему?

Заранее спасибо за все ваши предложения, постараемся все учесть!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Думаю, что обязательно нужны тесты на:

1. Динамическую защиту от 0-day.

2. Статические тесты эвристика и сигнатур.

3. Самозащита.

4. Контроль траффика напобие matousec.

5. Скорость/загрузка ресурсов системы.

И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Кстати... вот ЛК утверждает, что их эмулятору обязательно нужен реальный процессор.

Хорошо бы провести тест Проактивки на виртуалках и на реальных машинах, тех продуктов у кого эмулятор заявлен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Кстати... вот ЛК утверждает, что их эмулятору обязательно нужен реальный процессор.

Хде??

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

vaber

лень искть ссылки, кто нить из ЛК тут отпишется ... возможно я и ошибаюсь.. но вроде так оно и есть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

vaber

Ничего не придумал, это заявление разработчиков. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Не правда. Эффективность эвристика у KIS можно считать одинаковой что под VMware, что на реальной машине.

Ничего не придумал, это заявление разработчиков. smile.gif

Да? Интересно. А можно узнать в личку кто именно заявлял такое? С целью прояснить ситуацию и, если окажется, что это действительно так - будем менять методику :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Илья, дело в том, что любой вендор скажет, что их система только от непреднамеренных утечек, и не гарантирует защищу от сговора злоумышленников, в этом случае DLP-система будет работать только как архив для пост-анализа, поправьте меня, если я не прав. Поэтому результат такого теста скорее всего не будет иметь обратной связи, а только покажет, что действительно так как говорят вендоры.

Интересней на мой взгляд было попробовать самозащиту клиентских агентов, которые снимают теневые копии. Только не их деинсталляцию, так как это сразу вызовет кучу вопросов в корпоративной среде, а выведение их из строя, типа в случае чего - "чего-то ваша система сама по себе не пашет" :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

vaber

Я это через "посредника" знаю :) От одного из тестеров, который, собственно, занимался этим плотно. На работу пойду в конце недели только, тогда у него и спрошу.

Может Гудилин может быстрее сказать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Есть такая идея, но тест реально сложный и потребует как минимум тесного сотрудничества с кем-то из крупных интеграторов (например, Крок или Лета). Есть уже у меня примерная методология даже, удалось даже обсудить ее с Ричем Могулом, когда он был в Москве.

Вообщем пока вот такой списочек получается амбициозный:

Тесты которые точно будут:

1. Динамический I

2. Лечение активного заражения IV

3. Самозащита III (может быть на Vista?)

4. Быстродействие II

5. Эвристика III

Под вопросом:

1. Тест на защиту от полиморфных вирусов II

2. Пакеры II

3. Тест фаерволов (новый тест).

4. Интерфейсы (новый тест)

Все таки напомню про тестирование браузеров!

Тест интересный, но мы его в план не будем включать по причине непрофильности, если только кто-то займется им из нашего компьюнити вне плана, мы поддержим.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

Я думаю, что уже актуальность есть и в тете АВ-решений на x64. Их вообще кто-то тестирует?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Не правда. Эффективность эвристика у KIS можно считать одинаковой что под VMware, что на реальной машине.

Да? Интересно. А можно узнать в личку кто именно заявлял такое? С целью прояснить ситуацию и, если окажется, что это действительно так - будем менять методику :)

Предлагаю просто проверить тестом ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я бы хотел приблизить результаты некоторых тестов к повседневным результатам на ПК пользователя. Например, провести параллельно тесты проактивной защиты, тест на фолсы и тест на поддержку упаковщиков и дать не отдельные результаты, а общий. И, кроме тех результатов, что выкатит АМ в ходе совместных переговоров форумчан, дать заполненную форму в Экселе, чтобы пользователь сам мог поменять весы так, как для него важнее и тут же увидеть интересные лично ему результаты.

Тест самозащиты. Я считаю тот, что был представлен недавно, неверным, провальным. Методику теста самозащиты тоже нужно оговорить совместно. Что касается Висты, то да, нужно. Но только не именно на ней, а и на ней тоже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Тест самозащиты. Я считаю тот, что был представлен недавно, неверным, провальным. Методику теста самозащиты тоже нужно оговорить совместно.

Кстати, да. Полностью поддерживаю. Если зловред прошёл на уровень ядра, то защите каюк. Так что дебильный перехват ZwTerminateProcess/NtTerminateProcess не спасёт, вынесут всё нафиг через низкоуровневые менеджеры или прямой манипуляцией с системными списками.

Ну и завершение процесса защиты через Task Manager- это легитимное действие, если на уровень защиты это не влияет либо влияет только положительно в случае полностью автоматического принятия решений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Я думаю, что уже актуальность есть и в тете АВ-решений на x64. Их вообще кто-то тестирует?

Я не припомню специальных тестов. Что можно протестировать специально для x64?

Что касается Висты, то да, нужно. Но только не именно на ней, а и на ней тоже.

Чтобы не создавать иллюзий, сразу скажу, что это нереально. Имеет смысл делать отдельно как разных платформах, сегодня тест самозащиты на XP, через пол года на Vista и т.п. Я против долгостроев и мегатестов в стиле "все в куче".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Я не припомню специальных тестов. Что можно протестировать специально для x64?

Что заявлено аверами то и тестировать. Адаптировать все тесты наши. Тот же KIS для XP x86 совсем не то же самое что для Vista x64.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Сергей Ильин

СЗ на ХР и Висте сильно отличаются. СЗ на 32 и 64 сильно отличаются. СЗ на ХР 32 и Висте 64 ну оооочень сильно отличаются.

Т.е. даже не реальные 100% на ХР ничего не означают на Висте СП 1. Уж тем более СП 0.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Да, самозащиту на Windows Vista на делать, это факт, лучше даже на x64 стразу, эта платформа более прогрессивная.

Также я бы быстродействие сделал на Windows Vista в этот раз.

Может быть даже на активное тест стоит подумать под Windows Vista, если зловредов наберется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • demkd
      а внутри локалки и не получится, белые ip нужны только при подключении через интернет.
    • santy
      Проверил на двух домашних ПК в локальной сети с роутером. Схема с серым IP работает отлично. Передача файлов гениальна! Вот просто как будто дополнительное зрение появилось :). Через белый IP  пока не удалось подключиться. Пришлось еще фаерволлы включить в интерактивный режим. (На автомате еще не проверял, возможно надо сохранить некоторые правила.)
    • demkd
      ---------------------------------------------------------
       4.99.4
      ---------------------------------------------------------
       o Исправлена функция автоматического переключения удаленных рабочих столов.
         Проблема проявлялась при работе с удаленной системой через локальную сеть, при запуске приложения
         от имени администратора не происходило автоматическое переключение на защищенный рабочий стол.
         (не касается полной версии разового доступа к рабочему столу, в этом режиме проблемы не было).

       o Проведено сравнительное тестирование системного удаленного рабочего стола и uVS.
         Передача файлов через системный удаленный рабочий стол идет почти в 20 раз медленней чем через через uVS.
         Максимальный fps в 32-х битном цвете почти в 3 раза ниже чем у uVS в FHD.
         (!) Выявлена проблема совместного использования uVS и системного рабочего стола.
         (!) Если системный рабочий стол был закрыт БЕЗ выхода из пользователя, то uVS не сможет
         (!) отбразить рабочий стол логона пользователя (Winlogon).
         (!) Единственное решение проблемы: подключиться заново через системный рабочий стол и выйти из пользователя.
       
    • demkd
      ---------------------------------------------------------
       4.99.3
      ---------------------------------------------------------
       o Это обновление повышает качество работы с удаленной системой и добавляет новый режим работы.
         (!) Новая функция не совместима со старыми версиями uVS, если у вас в настройках установлен флаг bReUseRemote = 1,
         (!) то перед обновлением необходимо закрыть все серверные части uVS на удаленных компьютерах с помощью
         (!) старой версии uVS.

       o Добавлен новый режим работы: Разовый доступ к удаленному компьютеру.
         (!) Доступно начиная с Vista, подключение к рабочему столу устаревших систем возможно лишь прежним способом.
         Ранее просмотр и управление рабочим столом удаленного компьютера было вспомогательной функцией при работе с удаленной системой.
         Для подключения требовались полномочия администратора или знание логина и пароля администратора удаленного компьютера и
         физическая возможность подключения к удаленному компьютеру.
         Новый режим работы похож на то, что предлагают всевозможные поделки для удаленного администрирования.
         o В этом режиме доступно: управление и просмотр рабочего стола, а также быстрый и надежный обмен файлами на пределе пропускной
           способности канала. (для сравнения RAdmin в гигабитной сети передает файлы более чем в 15 раз медленней чем uVS).
         o Передаваемые кадры теперь не только сжимаются, но и шифруются,  целостность передаваемых файлов защищена
           проверочным хэшем и шифрованием.
         o Подключение осуществляется без использования промежуточного сервера, т.е. это чистый P2P.
         o Подключение возможно к компьютеру за NAT при включенной у роутера опции uPNP.
         o Подключение возможно к компьютеру, где активирован VPN.
           (!) Подключение производится к реальному адресу роутера или адаптера компьютера с VPN, VPN канал полностью игнорируется.
         o Подключение возможно в обе стороны, т.е. из пары компьютеров требуется лишь 1 белый IP, направление подключения выбирается
           при начальной настройке.

         При запуске start.exe теперь вам доступны три новые кнопки:
         o Управление удаленным компьютером и обмен файлами.
           Эту кнопку нажимает тот кто хочет получить доступ к удаленному компьютеру, в открывшемся окне можно выбрать
           вариант подключения (см. ниже) и ввести код доступа полученный от того кто предоставляет доступ к компьютеру.
           Варианты подключения:
             o Соединение примет мой компьютер - в этом случае необходимо выбрать IP к которому будет подключаться другая
               сторона. При подключении через интернет следует выбирать белый IP адрес, если ваш компьютер за роутером
               и на нем активен NAT, то выбрать нужно именно его IP адрес. (адрес с пометкой [router]).
               Если роутер поддерживает uPNP, то этот адрес будет выбран по умолчанию.
               Если же в списке нет белых IP то вам следует выбрать другую опцию подключения.
               После выбора IP просто нажмите кнопку Старт и передайте одноразовый код доступа другой стороне.
               При подключении по локальной сети вы можете нажать кнопку "Все IP" и выбрать любой серый адрес для подключения.
               Поддерживается и IPv4 и IPv6.
               (!) Код доступа автоматически копируется в буфер обмена при нажатии кнопки "Старт".

             o Соединение установит мой компьютер - просто скопируйте код доступа в поле ввода или код там появится автоматически
               если вы его скопировали из мессенджера. После чего нажмите кнопку Старт и ожидайте подключения.

         o Разовый удаленный доступ к моему компьютеру [админ]
           (!)Пользователь должен обладать правами администратора или правами по запуску и установке служб.
           Эту кнопку нажимает тот кто хочет предоставить доступ к своему компьютеру, в открывшемся окне можно выбрать
           разрешения для другой стороны.
           Доступны 3 варианта:
             o  Управление     - доступно: мышь, клавиатура, просмотр экрана и обмен файлами.
             o  Просмотр       - доступно: просмотр экрана и обмен файлами.
             o  Обмен файлами  - доступно: обмен файлами.
           Это полнофункциональная версия удаленного рабочего стола uVS, с возможностью удаленного подтверждения
           запуска приложений от имени администратора и эмуляции нажатия Ctrl+Alt+Del.

         o Разовый удаленный доступ к моему компьютеру [не админ]
           Все тоже самое что и во 2-м случае, кроме удаленного подтверждения запуска приложений от имени администратора
           и эмуляции нажатия Ctrl+Alt+Del, дополнительно есть ограничение по использованию защищенных рабочих столов.

       o При работе с удаленным рабочим столом теперь доступна передача файлов и каталогов из буфера обмена в обе стороны.
         Что бы передать файлы или целые каталоги на удаленный компьютер, просто скопируйте их в буфер обмена и в окне
         удаленного рабочего стола нажмите кнопку со стрелкой вверх.
         Передача изображения автоматически отключится и откроется окно с логом передачи файлов.
         В заголовке окна лога вы увидите объем переданных данных и среднюю скорость передачи (с учетом чтения их с диска).
         По окончании передачи  файлов в лог будет выведена информации о времени передачи, количестве успешно переданных файлов и
         средней скорости передачи.
         Переданные файлы будут помещены в буфер обмена удаленной системы и вы сможете  вставить их из буфера
         в любой каталог или прямо на рабочий стол. При этом файлы переносятся из временного каталога.
         Если же вы не вставили файлы из буфера обмена то они останутся во временном каталоге C:\uVS_copyfiles\*
         точный путь до которого выводится в лог на удаленном компьютере.
         Что бы получить файлы проделайте обратную операцию: скопируйте файлы в буфер обмена на удаленном компьютере
         и нажмите кнопку со стрелкой вниз, по завершению передачи файлы будут помещены в буфер обмена вашего компьютера
         и вы можете перенести их в любую нужную папку.
         Таким образом обе стороны видят какие файлы и куда копируются и при этом максимально упрощается процесс копирования.
         (!) При закрытии окна лога передача файлов будет остановлена.
         (!) При разрыве соединения передача файлов будет автоматически продолжена после восстановления соединения,
         (!) при этом работает функция докачки, т.е. если ошибка произошла при передаче большого файла, то передача его
         (!) продолжится с последнего успешно полученного блока, т.е. блок будет заново.
         (!) Каждая передача файлов является независимой, т.е. нельзя прервать передачу и воспользоваться функцией докачки.
         (!) Проверка целостности файлов производится на лету вместе с его расшифровкой, таким образом достигается
         (!) максимально возможная скорость передачи примерно равная скорости копирования файлов по локальной сети системой.
         (!) При необходимости передачи большого количества мелких файлов рекомендуется поместить их в архив, это серьезно
         (!) сократит время передачи.
         (!) Состоянии кнопки CS никак не влияет на данный функционал.

       o Изменен приоритет протоколов: IPv4 теперь является приоритетным, как показали замеры в гигабитной локальной сети
         IPv4 позволяет достичь более высокой скорости передачи данных.

       o Добавлено шифрование сжатых кадров удаленного рабочего стола для повышения защиты передаваемой по сети информации.

       o В случае разрыва соединения повторное подключение происходит автоматически без запроса.

       o Снижен инпут лаг при работе с удаленным рабочим столом.

       o Обновлена функция синхронизации буфера обмена с удаленной системой: теперь поддерживается передача скриншотов
         в обе стороны.

       o Обновлена функция передачи движений мыши в удаленную систему.
         Теперь доступно управление с помощью движений мыши, которое используется в некоторых приложениях и играх. (если нажата кнопка MM)
         Если указатель мыши видим в удаленной системе то управление производится позиционированием указателя по расчетным координатам (как и раньше),
         в противном случае указатель скрывается в клиентской системе и передаются лишь движения мыши.
         При возникновении проблем с восстановлением видимости указателя вы всегда можете переключиться из окна удаленной рабочего стола по горячей
         клавише RWin.

       o uVS теперь при старте добавляется в исключения Ф и брандмауэра до выхода из uVS.

       o Теперь запоминаются размеры и режим отображения удаленного рабочего стола для каждого активного монитора.
         Кнопка 1:1 применяется автоматически при первом выборе монитора.
         Обработчик кнопки 1:1 обновлен, теперь размер окна рассчитывается с высокой точностью для новых систем,
         где размер окна включает в себя тень.

       o Добавлен выбор метода захвата экрана, доступно 3 варианта:
         o GDI -  медленный метод захвата экрана, но работает в любой удаленной системе, постоянный fps.
                  (единственный доступный метод для Win2k-Win7)

         o DDA1 - быстрый, работает начиная с Windows 8, максимальный коэффициент сжатия,
                  переменный fps в зависимости от экранной активности.
                  (!) рекомендуется использовать при ширине канала ниже 100Mbit, вместо DDA2.

         o DDA2 - очень быстрый метод сравнимый с захватом экрана с помощью mirror драйвера, но без использования драйвера,
                  работает начиная с Windows 8, низкий коэффициент сжатия, переменный fps в зависимости от экранной активности.
                  Способен захватывать видео с высоким fps (до 60) за счет упрощенного метода сжатия и обработки потока кадров.
                  (метод по умолчанию для Win8+, рекомендуется при значительной экранной активности).
                  (!) рекомендуется использовать при ширине канала не менее 100Mbit, при высоких разрешениях 1Gbit и выше
                  (!) из-за низкого коэффициента сжатия.
                  (!) При низкой экранной активности трафик до 10 раз больше чем у DDA1, при высокой - в 2 раза больше.
          
       o В окно удаленной рабочего стола добавлена кнопка "SYN" она замещает собой ручной выбора задержки захвата кадров.
         (отжатая кнопка соответствует нулевой задержке)
         Если кнопка нажата то задержка, а значит и максимальный fps ограничивается автоматически в соответствии
         с пропускной способностью канала, к сожалению это понижает максимальный fps и увеличивает инпут лаг,
         однако это полностью решает проблему, которой страдают даже лучшие программы удаленного управления
         при недостаточной ширине канала. Если канал слишком узок (10Mbit и менее) то при значительной
         экранной активности (оконное видео или анимация) происходит потеря управления удаленным рабочим столом
         из-за того что новые кадры отправляются в буфер значительно быстрее, чем клиентская машина успевает их получить и отобразить,
         в результате чего даже нажатия кнопок отображаются с задержкой в несколько секунд.
         Тоже самое будет наблюдаться в uVS в сходных условиях если кнопка SYN не нажата.
         Поэтому SYN не рекомендуется отключать при значительной активности в кадре и узком канале.
         Если канал 100Mbit и выше (локальная сеть), используется DDA2 то можно выключить SYN и это сильно поднимет fps и значительно уменьшит инпут лаг.
         Кнопка SYN по умолчанию нажата, состояние кнопки сохраняется при выходе из uVS.
         Выбранная цветовая битность теперь тоже сохраняется.

       o В окно удаленной рабочего стола добавлена кнопка "MR" она позволяет управлять указателем мыши из удаленной системы,
         Функция работает ЕСЛИ кнопка нажата И курсор находится в пределах окна удаленного рабочего стола И это окно активно.
         Функция предназначена для тех случаев когда человеку на том конце проще показать проблему чем описать ее словами.

       o Теперь клиентская часть uVS автоматически завершается если удаленная система перезагружается, выключается или завершается сеанс пользователя.
         (только если открыто окно удаленного рабочего стола)

       o Значительно увеличена скорость переключения мониторов, рабочих столов и смены разрешения монитора в DDA режиме.
         (!) Однако есть побочный эффект: если новый монитор будет подключен к удаленной системе пока открыто окно рабочего стола,
         (!) то для отображения картинки с этого монитора необходимо будет закрыть/открыть окно или повторно выбрать метод захвата экрана.

       o Добавлена поддержка браузера Microsoft Edge.

       o Обновлена функция чтения и удаления расширений браузеров: Chrome, Yandex, Edge.
         Добавлены сайты с включенными уведомлениями с указанием времени активации уведомлений.
         Из окна информации о расширении удалено поле Extension_homepageURL за бесполезностью.
         Мусор оставшийся от старых расширений помечается как "файл не найден" и будет удален при вызове функции удаления ссылок на
         отсутствующие файлы.

       o Контекстное меню в окне редактирования критериев теперь тоже использует выбранный размер шрифта.

       o Улучшена совместимость с системами с малым количеством оперативной памяти.

       o Исправлена функция захвата экрана в GDI режиме.

       o Исправлена ошибка в функции чтения защищенных файлов, в некоторых случаях функция не могла получить доступ к файлу.

       o Исправлена ошибка в функции смены рабочего стола

       o Исправлены ошибки инициализации COM.

       o Исправлена ошибка из-за которой из списка проверки выпало 2 ключа автозапуска.

       o Исправлена ошибка в функции отката изменений (Ctrl+Z) при работе с образом.

       o Исправлена ошибка повторной инициализации захвата экрана в случае если рабочий стол был переключен пользователем или системой
         до повторного открытия окна удаленного рабочего стола.

       o Исправлена ошибка при открытии окна информации о компьютере.
         Добавлена дата релиза биоса, исправлено отображение объема физической памяти, добавлена расшифровка типа памяти и условное обозначение
         ее производительности.

       o Добавлена возможность открывать ключ реестра в regedit-е двойным щелчком по строке в логе или
         через контекстное меню.
         (!) Недоступно при работе с образом автозапуска.
       
×