Добрый день!
Хотим выразить благодарность многим уважаемым участникам этого форума, которые (сами того не зная) помогли нам в нашем небольшом антивирусном тесте - при подготовке, построении методологии, выполнении мы старались воспользоваться теми заниями, которые были нами получены при чтении многих тем этого форума. Мы старились не допускать тех ошибок в тестировании, которые так хорошо объяснены здесь. Поэтому для нас очень важно мнение тех, чьи мысли мы старались учесть.
Не хочется никого обижать, но фамилии многих нам неизвестны, а перечислять всех по никам - кого-нибудь забудем и будет обидно, поэтому назовем тех, чьи фамилии нам известны: Сергей Ильин, Дмитрий Мячин, Василий Бердников, Олег Зайцев, Евгений Касперский, Илья Рабинович, Вячеслав Русаков, Александр Гостев, Валерий Ледовской.
Спасибо им.
Мы провели небольшой (на самом деле на него ушло порядочно времени и сил) тест, а точнее исследование, для которого пришлось потестировать немного, суть которого заключается в выяснении у какой вирусной лаборатории как работают роботы-автоматы для создания большинства детектов - качественно или "по md5 детектим то, что другие".
Полная версия статьи доступна в журнале Хакер 189 (октябрь 2014 года, страница 88 ][-тест) - посмотреть можно в онлайне, скачать с торрента, купить (кому как удобно), сейчас же расскажем суть очень кратко:
1. Была сформирована достаточно репрезентативная вирусная коллекция (около 10 тыс. образцов). Она была on-demand просканирована антивирусами, результаты занесены в таблицу. Сканирование показало практически полное отсутствие мусора и спорных файлов (около недели у нас ушло только на чистку коллекции) - почти у всех известных антивирусов детект был на уровне 98%.
2. Эта же самая коллекция была изменена - в каждом файле сбивался один байт в dos-стабе (в выводимом сообщении о необходимости работы только под DOS) и один байт записывался в оверлей. Эта модифицированная коллекция сканировалась антивирусами и результаты писались в табличку, затем данные сравнивались с данными из первого пункта. Логика: если робот кладет сигнатуры на файлы нормальным способом, то такая "криптовка и обфускация" файлов не даст ощутимого эффекта (снижения уровня детекта), а при шлепании детектов по аналогичному md5-хешу будет заметна разница.
Разница нас шокировала. Мы таких результатов не ожидали, честно. Когда читали сообщения Касперского о том, что некоторые лаборатории так работают мы верили не особо, теперь верим. У многих антивирусов пропал каждый четвертый детект, что красноречиво говорит либо об их уровне технологий массового детектирования, либо о недобросовестной работе (или об их сочетании).
3. Также была проверена родственная мысль о том, что некоторые антивирусы детектируют все неизвестное, а потом просто убирают ложные срабатывания, которые попадают на известный софт (Java, microsoft), чтобы проходить тесты на ложные срабатывания в известных тестирующих организациях (vb, av-test и т.д).
Логика: берем малоизвестных отраслевой специализированный софт (врачей, инженеров, космонавтов), чистим от адвари и подозрительного ПО (кряки) и проверяем антивирусами. Все детекты антивирусов уложились в десяток файлов, которые уже были тщательно перепроверены, чтобы исключить то, что это не верный детект.
Результаты особо не удивили, примерно так и предполагалось. Но тут не все гладко в тесте - выборка очень маленькая была и софт был только русский, на большом сете подобного софта разных языков картина была бы может иной, но не сильно (на наш взгляд).
Данная статья особо нигде не обсуждалась кроме нашего форума и форума любителей symantec, где это обсуждение в итоге было спрятано от нас в закрытый раздел (им не нравилось то, что у нортона очень высокий процент падения детекта на модифицированном наборе файлов). Мы немного поели собак в деле спора вокруг нашего теста, поэтому попробуем прикрыться на упреждение:
+ Мы не тестировали сигнатурный детект, мы даже места не присуждали за уровень детекта коллекции в первом пункте. Для нас важно было показать у какой вирусной лаборатории насколько честно и правильно работают антивирусные детектировалки - кто-то старается добавлять в базы хитро, а кто-то шлепает на все подряд детект по хешу - для антивирусных тестов сойдет и это.
+ Да, мы знаем, что в антивирусах есть другие защитные модули, но мы их не тестировали. Когда мы будем (условно) тестировать быстродействие, то не надо нам тыкать в самый медленный антивирус и говорить "вы дураки, там зато самый лучший фаервол" - мы фаервол не тестировали, если тестировали производительность, то про нее и пишем. Также и здесь.
+ Давайте общаться мирно. Без оскорблений, обвинений, наездов. Есть критика по методологии/трактовке (по существу) - будем рады услышать и обсудить. А если вся критика в том, что мы идиоты т.к опубликовали исследование в журнале хакер, то просьба проходить мимо темы.
+ на все комментарии, вопросы, уточнения, замечания, критику будем подробно отвечать, если будут нужны дополнительные данные, то можем ими поделиться. Будем рады конструктивному обсуждению.
Почитать online эту статью можно по запросу в google "журнал хакер онлайн" по второй ссылке на сайте с окончанием ua
Или по ссылке
(если ссылка нарушает правила форума, то просьба к модераторам ее затереть)
Во избежание разных казусов ссылку на наш форум, командой которого был проведен тест, мы пока не публикуем, если разрешит администрация, то напишем.