Тест проактивной антивирусной защиты III (результаты) - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Danilka

Тест проактивной антивирусной защиты III (результаты)

Recommended Posts

amcenter

Спасибо за тест, очень надеюсь, что и дальнейшие тесты будут объективными.

Тестирование наконец-то отметило снижение уровня эвристики антивируса Касперского, которое ну никак не хотели признавать.

Надеюсь, ЛК возьмется за улучшение качества своей продукции, особенно корпоративной...

Не ожидал такого хорошего результата у G data.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Каждый из продуктов занял то место, которое и должен был занять. Претензий нет к результатам и методологии. Спасибо за тестирование.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias
  Цитата
Подписыватся не забываем, люди ЛК, сотрудик ЛК, КГБ, атаман войска...
Станиславский, ты?

а по теме - много думал по тестам, без комментариев

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww

Хотелось бы пройтись по комментариям партнеров.

Жутко порадовали Тренды.

  Цитата
...Trend Micro Internet Security 2010, где одной из главных защитных функций является блокирование глобальных источников распространения вредоносных программ и механизмы обратной связи

То есть, я правильно понимаю, что бан доменных имен - это одна из главных функций этого антивируса? Вы ребята мёду объелись?! Это всё, что у вас есть? Зараженные легитимные сайты вы тоже банить будете? Уверены, что большая часть доменов вообще до вас доходит? В курсе, что оно сейчас "мигрирует"? Спасибо, повеселили.

Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Полезное из комментариев (я бы взял на заметку):

1) Мало сэмплов. Однако не забываем сколько трэша в коллекциях Маркса и Энгельса. Этого тут не нужно.

2) Использование динамического тестирования. AMTSO придумали как тестировать поведенческие блокираторы на реальной заразе в автоматическом режиме? И лучше не на VmWare. Гы.

И я так и не узнал про FP из инсталлеров с download.com. В них могут быть адвари.

P.S. Жду еще животрепещущих комментариев от партнеров. Eset, Symantec, ау?!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Danilka, благодарю за оперативное создание темы ;)

Мой комментарий есть в отчете. Хотел бы еще раз отметить, что к большему сожалению никто в этот раз не получил высоких наград. Нет платины (еще ни разу в истории не было), нет и золота. Рубеж 60% взят, но явно за счет фалсов. Создается впечалетние, что аккуратно уже становится просто нереально докручивать эвристику. Один F-Secure чего стоит! Когда увидел его резуальтат сначала, то был крайне удивлен, но проверка на ложные срабатывания все поставила на места.

Настораживает сильное снижение проактивного детекта у Eset и Dr.Web. Причины явления не ясны.

e3_5.png

Очень интересная картина по общему детекту с обновленными базами.

e3_61.png

Можно поздравить Trend Micro и Agnitum с резким улучшением результата!

Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

P.S. Большое спасибо Грише за непосредственное проведение теста. Несмотря на его кажущуюся простоту, тест коварный с множеством подводный камней. Также благодарю всех, кто принимал участие в подготовительном обсуждении теста и выборе продуктов для тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
  sww сказал:
Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели. Ну не предназначен антивирус для простаивания без апдейтов. Поэтому ничего иного, кроме как ткнуть фразой "да ну эту вашу эвристику", не захотелось. On-access у нас много еще чего наловит бессигнатурно и поможет почистить, а смысл тогда в этом тесте с невнятным кол-вом сэмплов? Так, поразоряться на этот счет.

Про VB100 - речь шла о RAP-тесте с 12000 новых сэмплов на каждую из 4 недель, лишь 1 из которых "проактивная". Там значка не дают, только процент, а помещают продукт на диаграмму "Reactive vs Proactive".

PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
  Виталий Я. сказал:
Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели.

Хорошо будет если эвристика хотя бы день-два проработает. Не работает оно 1-2 недели, не надо.

В любом случае гнать про сигнатуры - это глупо в высшей степени и нелепая отмаза. Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже :)

  Цитата
PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут? ;)

Щито?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Откуда пафос такой? (Народ, кнопка "жалоба" на первые 2 поста не работает).

PS: Итоговая VB100-шная RAP-диаграмма по Agnitum верна только для правой точки. Левая - "левая" :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
  Цитата
Наибольшее ухудшение общего уровня обнаружения отмечено у продуктов Norton, Eset и F-Secure (за счет смены у F-Secure лицензируемого антивирусного движка).

Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
  sww сказал:
Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже :)

Щито? На 12.000 в неделю он - лучше ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
  Umnik сказал:
Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

В прошлом тесте они были на уровне каспера по общему детекту, а сейчас круто упали. Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
  Виталий Я. сказал:
Щито? На 12.000 в неделю он - лучше ;)

Это тебе кажется :) Да и не доверяю я организаторам VB100, руки у них кривые, неизвестно какие там сэмплы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
anip
  Сергей Ильин сказал:
Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

Всегда считал, что "облака", мягко выражаясь, фуфло, пиар. Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
  anip сказал:
Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

Ну тут как раз не так важно, подсасывает антивирус не много, проводили тут ранее на форуме данные. Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Сергей Ильин

Да она и не особо нужна в наших реалиях. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Rampant
  Сергей Ильин сказал:
Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

Дык эвристик BitDefender показал лучший результат чем Касперский, где логика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Сергей Ильин, управляющий партнер Anti-Malware.ru:

...Во-первых, вендоры массово занялись «облачными» и поведенческими технологиями, сделав ставку на связанную с ними быстроту обеспечение детекта. Этот подход, с моей точки зрения, является действительно более перспективным в силу целого ряда причин, поэтому в ближайшие годы нас ожидает некоторая эволюция самого понятия проактивности».

Ох, пожалуй надо переезжать тогда, ммм, в Японию:) Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
  UIT сказал:
Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками:)

Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно. Оффтоп, но почитайте обзор Trend Micro OfficeScan 10, там достаточно подробно расписано как это работает на живом корпоративном продукте. А с персональными вообще париться по поводу загрузки канала не стоит. Вам классический антивирус качает апдейты мегабайтами и так ;)

Могу добавить, что пока тесты показывают, что облачный детект (именно о детекте говорю) не работает так, как этого ожидают. Нужно менять очень многое, чтобы это заработало на полную, а это годы вложений в инфраструктуру, разработку технологий хранения и обработки накопленных данных + нужно менять конечные продукты тоже. С последним самая запарка, так как даже по комментариям в этой теме видно, что клиенты мягко говоря не готовы. Тот же Trend Micro не отказывается от сигнатур, они продолжают и будут продолжать таскаться с самими продуктами, но базы делаются более компактными и это уже факт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
  Сергей Ильин сказал:
Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

Насколько я знаю, например, для Norton использование сканирования по требованию для некоторых типов облачных детектов бессмысленно.

Эти детекты срабатывают только on-access на новые файлы.

Антивирусы становятся разными и даже тестеры не знают, что и как тестировать. ;)

Время тестирования отдельных компонентов уже прошло.

Технического смысла нет.

Нужны только комплексные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr.Golova
  Цитата
Получается, что облака пока используются для накачки классического детекта

Не детектом единым - облако еще фалсы правит :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
  Сергей Ильин сказал:
Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

естесственно, а кто-то ожидал иного? :)

  Сергей Ильин сказал:
изменения результатов связано со сменой движка

они его поменяли? на что?

  Dr.Golova сказал:
облако еще фалсы правит

кажется, пока даже наоборот - плодит

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias

  Цитата
Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно.
а если тупо нет инета? В смысле был - и пропал! Облака нету

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
  Lias сказал:
а если тупо нет инета? В смысле был - и пропал! Облака нету

Сигнатуры никто не отменяет, они есть и будут. Облако нужно для более оперативной реакции.

  GReY сказал:
естесственно, а кто-то ожидал иного? smile.gif

Ну постепенно к этому все равно придут, просто не так быстро видимо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Rampant
  GReY сказал:
они его поменяли? на что?

наверно подразумевается смена движка ЛК, на технологии BitDefender, но если посмотреть архив наград, результаты F-Secure до 2010 года, были ещё хуже)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Если версия системы идентичная то скорее всего подойдет, но это не точно, потому что лично я всегда пользовался бэкапом реестра, сперва ERUNT-ом, а когда он стал неактуален сделал свой ABR.
    • santy
      Вообще, в сети мало пишут про то, как восстановить работу безопасного режима, в основном после поискового запроса выводят статьи, как войти в безопасный  режим. (Видно хромает еще ИИ по этому вопросу). По данному, частному случаю как будто все уже перепробовали: точка восстановления есть но с заражением системы, со слов пользователя. Хотя по факту здесь и не нужно восстанавливать систему, достаточно только найти в этой точке файл SYSTEM, откопировать его в другое место и извлечь из него ключ SafeBoot. Возможно, что он и делал восстановление системы из точки восст., но Safe mode не заработал. Других точек восстановления нет, бэкапов реестра нет, так как не работал ранее с uVS, да, и мы вообщем редко практикуем в сложных случаях создавать бэкап реестра. Те функции восстановления ключа, что заложены в uVS, опираются на бэкап реестра. (Которого не оказалось в системе). Твик Зайцева так же не сработал, возможно основан на методе их текста, который RP55 принес сюда. Остается попытаться перенести ключ с чистой аналогичной системы. Возможно ли безболезненно взять ключ Safeboot из другой аналогичной чистой системы? Какие могут возникнуть проблемы? драйвера оборудования могут оказаться различными?  
    • demkd
      "CurrentControlSet" это виртуальный ключ, он указывает на последний рабочий CurrentControlSetXXX, потому копировать там обычно нечего потому что есть лишь CurrentControlSet001, который и есть CurrentControlSet, другое дело когда есть 001 и 002, один из них может быть живым, а может и не быть.
      Но на самом деле не нужно маяться фигней, нужно пользоваться бэкапом и восстановлением реестра, тем более что в uVS есть твик для включения системного бэкапа реестра, так же копии реестра есть в теневых копиях и точках восстановления, где гарантировано можно найти рабочую ветку реестра и восстановить ее либо руками либо через uVS->Реестр->Восстановить из копии ключ SafeBoot
    • PR55.RP55
      " Вот еще в помощь рекомендации от Зайцева Олега:   Цитата Кроме того, есть еще один метод восстановления испорченных ключей. Как известно, в самом реестре есть копии ключа SafeBoot. Они находятся в HKLM\SYSTEM\CurrentControlSet001\Control\SafeBoot и HKLM\SYSTEM\CurrentControlSet002\Control\SafeBoot. Следовательно, можно попробовать следующую операцию:
      1. Экспортировать HKLM\SYSTEM\CurrentControlSet001\Control\SafeBoot
      2. В полученном REG файле заменить "CurrentControlSet001" на "CurrentControlSet" (REG файл текстовый, поэтому заменить несложно)
      3. Импортировать модифицированный файл
      Данная операция может быть успешной сразу после запуска повреждающей ключ реестра вредоносной программы, до перезагрузки. Нарушена загрузка в защищенном режиме (SafeBoot) Изменено 6 часов назад пользователем safety " https://forum.kasperskyclub.ru/topic/466078-privetstvuju-slovil-majner-po-nazvaniem-toolbtcmine2782/page/6/#comments А, что если это будет делать uVS ? т.е. Копировать ключ > модифицировать > производить перезапись.
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 18.1.10.
×