Перейти к содержанию
OlegAndr

Что такое хороший тест антивируса?

Recommended Posts

OlegAndr

Ну давайте попробуем, коллеги подмогнут, я уверен.

Итак что такое хороший тест антивируса???

1. Он должен быть репрезентативным.

2. Он должен быть правильно проведен

3. Он должен быть проверяемым.

Что значит репрезентативным?

Вот например Лаборатория Касперского получает 125 000 уникальных семплов малвары в день. Что на этом фоне тест на основе 300 вирусов, на основе 1000 вирусов? Их можно все пропустить и все равно это будет укладываться в погрешность.

Я правда мат. статистику никогда не любил, но очевидно всякому что проверять надо на ГОРАЗДО большем числе файлов, чтобы иметь возможность делать выводы на основе этого.

Тесты коллекций которые проводятся лидерами сравнительного тестирования в мире - Av-Test.org, Av-Comparatives.org, VirusBuletein занимают ДНИ и количество семплов измеряется миллионами.

Небольшое количество семплов может быть оправдано только в случае если:

1. Измеряется способность ловить самый свежак - то есть семплы проверяются сразу при появлении их во каналах распространения - спам финишг рассылка и прочее. Тогда количество семплов будет измеряться десятками за день теста. Но это уже ограничение физическое - тестер не сможет обрабатывать больше без потери качества исследования. Также такие результаты всегда надо смотреть на более большом отрезке -месяц и больше.

2. Измеряется способность лечить сложные угрозы. - так как реально сложных угроз мало, то и количество исследуемых файлов может быть невелико, но тут уже результаты могут быть поставлены под сомнение.

Некоторые начинают учитывать распространенность семпла при подсчете результата. Например есть семплы которые стыдно не ловить - они например пол интернета заразили, а есть какое-то поделие васи которое он принес в школу и заразил петю, обидно конечно но не так опасно. Тут начинается целая история как эти данные собирать и учитывать.

Что значит правильно проведен?

Это значит что методология (страшное слово) должна не вызывать вопросов.

Например все файлы по которым проводится проверка должны быть действительно вредоносными.

Тест должен проводиться в условиях приближенных к реальным - на реальном железе (это важно для корректной работы всех систем антивиурса), с реальным доступом в интернет (это важно для работы облачных технологий), на реальных системах, актуальными версиями АВ-продуктов.

Файлы не только проверять на обнаружение но еще и запускать - т.к. многие технологии позволяют отследить вредоносную активность при запуске но не ругаться на файл пока он лежит на винте просто так.

Что значит должен быть проверяемым?

Это значит что коллекция по которой проводился тест, или, как минимум пропуски, должны быть доступны антивирусным лабораториям для проверки. Тут нет никаких предубеждений - все абсолютно тестовые лаборатории случается записывают в пропуски неработоспособные вирусы, либо не вредоносные файлы.

Например считать вредной чистую утилиту, которая кем-то где-то была интегрирована с вирусом, и с тех пор обнаруживается некоторыми несознательными АВ-лабораториями. Это случается постоянно, поэтому ВСЕ нормальные лаборатории прежде чем публиковать результаты предоставляют промахи для того чтобы АВ-вендоры могли подтвердить или опровергнуть вредоносность.

Самопальные Тестеры-энтузиасты которые говорят "я тут нашел свежей малвары и никто ее не ловит" сразу получают вопросы типа

1. Действительно ли это малвара и насколько она репрезентативна.

2. насколько она свежая (в принципе это неважно, чем старее тем больше шансов что она в базах, но были случаи когда проверялась дос-малвара, которая вообще не запускается на тех системах для которых предназначены современные антивирусы)

3. какой продукт ты тестировал

4. как ты тестировал

5. покажи, что именно не ловится и см пункт 1.

  • Upvote 11

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Тесты коллекций которые проводятся лидерами сравнительного тестирования в мире - Av-Test.org, Av-Comparatives.org, VirusBuletein занимают ДНИ и количество семплов измеряется миллионами.

Небольшое количество семплов может быть оправдано только в случае если:

Я бы заметил, что тесты на детект мертвых тушек файловыми сканерами себя принципиально исчерпали. При этой уже не имеет никакой роли сколько там самплов. Все равно мы имеем:

1. Братскую могилу тушек, которых уже нет в дикой природе здесь и сейчас. Они были когда-то там и их детект сейчас не говорит о качестве защиты.

2. Не учитывается работа множества технологий защиты, отличных от файлового сканирования. Тут и веб-фильтрация, и блокирование эксплойтов, HIPS и т.д.

3. Кто верифицирует самплы в коллекциях? Что это реально вредоносы. Эта проблема была актуальна даже 7-8 лет назад, когда цифры были совсем другие. Слышал много баек на тему мусора в коллкциях Av-Test.org, Av-Comparatives.org.

4. Происхождение больших коллекций. Не надо питать иллюзий, что кто-то из независимых тест-лабов способен собрать соизмеримое с вендорами кол-во самплов. Происхождение коллекций у проводящих такие тесты лабораторий - тайна за семью печатями. ;)

Поэтому принципиально считаю тесты на коллециях из N каких-то там файлов полным ацтоем незаслуживающим никакого внимания.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military

OlegAndr,спасибо за интересную тему.

3. Кто верифицирует самплы в коллекциях? Что это реально вредоносы. Эта проблема была актуальна даже 7-8 лет назад, когда цифры были совсем другие.

Ежедневные коллекции с известных сайтов (virussign, malwares.safegroup ) частично решают эту проблему, например тем, что там отсутствуют дос вирусы?

Допустим мне интересно узнать детект файлового монитора у ряда АВ, то для отбора вирусов из коллекций сайтов приведенных выше, подойдет первоначальное сканирование определенным АВ, где файлы признанные 100% вредоносными, я отберу для дальнейшего сравнительного теста?

В итоге тест будет проведен на определенном кол-ве 100% вредоносных файлах, так будет правильнее?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K
Ежедневные коллекции с известных сайтов

Большое количество трэша/чистых файлов/кейгенов/адвар и прочего grayware

отсутствуют дос вирусы

Я бы так не говорил :D

Угрозы с префиксами win9x и макросы в этих помойках я так понимаю очень актуальны :)

где файлы признанные 100% вредоносными

Plz, дай гарантию, что это:

1) не фолс антивируса

2) файл не битый

3) актуальный вредонос

Поэтому все эти сканирования 10/100/1000/2000 неизвестных ошметков будут

полным ацтоем незаслуживающим никакого внимания

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Вообще тесты on-demand тушкопомоек себя действительно исчерпали.

В настоящее время самый правильный тест - это самая свежая малвара, а лучше даже живая вредоносная ссылка, которая, внимание military, проверяется на вредоносность на тестовой машине, а потом по этой ссылке ходят с машины защищенной антивирусом и смотрят результат.

То что называется RealWorld / Dynamic

Но тут опять же важна репрезентативность, а она будет страдать по причине малого числа семплов, как я говорил, смотреть только в перспективе когда наберется порядочно данных и то результаты будут плавать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military
Plz, дай гарантию

Dmitriy K, понимаю, гарантии быть не может. Если подобрать для этого дела антивирус с минимальными ложными срабатываниями? тот же MSE.

OlegAndr, согласен, что любой тест на сигнатурное обнаружение, будет однобоким, но стоит задача его провести. Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
Dmitriy K, понимаю, гарантии быть не может. Если подобрать для этого дела антивирус с минимальными ложными срабатываниями? тот же MSE.

OlegAndr, согласен, что любой тест на сигнатурное обнаружение, будет однобоким, но стоит задача его провести. Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Ты не можешь ориентироваться на чужие вердикты, все равно есть риск ошибки. Правильнее руками проверить действия вредоноса на реальной (!) машине.

Ищут кто как, и это уже некоторое ноу-хау.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K
Dmitriy K, понимаю, гарантии быть не может. Если подобрать для этого дела антивирус с минимальными ложными срабатываниями? тот же MSE.

...

Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Практической пользы нет, выборка - мизерная, какой смысл этим заниматься?

В этих и прочих "мегапаках" половина или больше - допотопный треш.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Plz, дай гарантию, что это:

1) не фолс антивируса

2) файл не битый

3) актуальный вредонос

Вот и по то же. Помойка непонятно кем и из чего составленная.

В настоящее время самый правильный тест - это самая свежая малвара, а лучше даже живая вредоносная ссылка, которая, внимание military, проверяется на вредоносность на тестовой машине, а потом по этой ссылке ходят с машины защищенной антивирусом и смотрят результат.

То что называется RealWorld / Dynamic

Но тут опять же важна репрезентативность, а она будет страдать по причине малого числа семплов, как я говорил, смотреть только в перспективе когда наберется порядочно данных и то результаты будут плавать.

Согласен. Для динамики надо брать многочисленную выборку, а это значит тестлаб попадает на кучу денег на построение фреймворка (железо, софт, своя разработка).

Но даже здесь еще никто не решил вопрос геотаргетинга вредоносных партнерок на базе TDS. Результаты одного и того же теста могут быть разными в разных странах. Ссылки разные, вредоносы разные.

согласен, что любой тест на сигнатурное обнаружение, будет однобоким, но стоит задача его провести. Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Какой смысл в этом? Кем ставится такая задача?

Собирайте, анализируйте руками сами. Все прогоны сканерами - это полный бред.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military
Помойка непонятно кем и из чего составленная.

Но ведь условия для всех одинаковые. 1000 файлов из которых пусть 100 или даже 200 файлов окажутся "чистыми " , и тогда их оставят все , а разницу покажет детект на оставшейся 100% малвари.

Какой смысл в этом? Кем ставится такая задача?

Мною :rolleyes:

Проактивные технологии, хипсы-шмипсы, это очень интересно, но не во всех АВ они работают как хотелось бы. Например dr.web , один из мощных АВ, один из лидеров на российском рынке, но если вредоносного файла нет в базе сигнатур, то на запуск реакции антивируса не будет. Поэтому считаю, что первым (где-то и последним )) эшелоном защиты антивируса (рассматриваю только антивирус, а не весь комплекс защиты) является сигнатурный детект.

Прошу прощения за нубские вопросы, но мне действительно хочется возможностями простого юзверя проводить приемлемые тесты, в данном случае на сигнатурный детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Но ведь условия для всех одинаковые. 1000 файлов из которых пусть 100 или даже 200 файлов окажутся "чистыми " , и тогда их оставят все , а разницу покажет детект на оставшейся 100% малвари.

Вы не понимаете главного, что в погоне за дешевыми регалиями в подобных тестах антивирусные вендоры детектят кучу всякого мусора, битых или вовсе чистых файлов. Стоит одному-двум задетектить чистый файл, как большинство также передерают детект. Поищите, на нашем форму полно таких тем было.

В итоге что вам покажет результат 98 из 100? Что антивирус хорошо детектит? А может то, что у него куча фалсов и бесполезных детектов "чтобы было"?

Совсем не случайно, что в таких тестах на файловых помойках чаще рулят вендоры второго и третьего эшелона, у которых несколько движков (перемножаются фалсы и ошибки) и нет даже своего вирлаба толком никакого.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aleksandra
3. Он должен быть проверяемым.

Он должен быть прозрачным, тогда и будет проверяемым.

Что значит должен быть проверяемым?

Это значит что коллекция по которой проводился тест, или, как минимум пропуски, должны быть доступны антивирусным лабораториям для проверки.

Сумма хешей малвари которая использовалась при тестировании должна быть в паблике.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military
А может то, что у него куча фалсов и бесполезных детектов "чтобы было"?

Вполне возможно. значит файлы должны быть заведомо только малварью.

Не совсем понятна Ваша цитата:

вендоры второго и третьего эшелона, у которых несколько движков (перемножаются фалсы и ошибки) и нет даже своего вирлаба толком никакого

Технически наверное их можно назвать вторым эшелоном, из-за отсутствия вирлаба. Все таки хочется быть уверенным, что с новым обновлением не наступят проблемы, как это было недавно с Эмсисофтом (Икарусом), хоть и очень быстро исправили.

Оценка данная Вами как "второй эшелон" основана на каких критериях? наверное не только отсутствием вирлаба?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сумма хешей малвари которая использовалась при тестировании должна быть в паблике.

А что это даст? Вендоры и так могут получить хеши и даже самплы по запросу.

Технически наверное их можно назвать вторым эшелоном, из-за отсутствия вирлаба. Все таки хочется быть уверенным, что с новым обновлением не наступят проблемы, как это было недавно с Эмсисофтом (Икарусом), хоть и очень быстро исправили.

Оценка данная Вами как "второй эшелон" основана на каких критериях? наверное не только отсутствием вирлаба?

Под вторым эшелоном я имею в виду небольших вендоров, которые имеют скромные доли рынка в мировом масштабе, скромное кол-во инсталляций + скромные технологические возможности, включая свой вирлаб.

На рынке полно антивирусов, которые по сути представляют собой красочную упаковку с множеством этикеток чужих технологий. Например, тех же мультидвижковых продуктов полно сейчас. Велью от них в современных условиях - о-малое. Классические сигнатурные методы защиты быстро отмирают, можно хоть 10 движков поставить в ряд - только увеличится кол-во фалсов, а реальной защиты от новых угроз не добавится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aleksandra
А что это даст? Вендоры и так могут получить хеши и даже самплы по запросу.

Это даст прозрачность тесту, ну а на счет вендоров и так понятно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
Он должен быть прозрачным, тогда и будет проверяемым.

Сумма хешей малвари которая использовалась при тестировании должна быть в паблике.

Вообще-то не всем они нужны, и в публичный отчет их как правило не включают.... Но почему бы нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Milord
что в таких тестах на файловых помойках чаще рулят вендоры второго и третьего эшелона, у которых несколько движков (перемножаются фалсы и ошибки)

Ну как бы многодвижковые решения, можно наблюдать в первых рядах и в тестах проф тестовых лабораторий, они тоже пользуются файловыми помойками?) И вы совсем не допускаете возможности, что два антивирусных движка с минимальными фолсами и отличным детектом (а такие есть на западе) не дадут отличный продукт, который сможет конкурировать с решениями "первого эшелона") перегруженных новомодными технологиями, которые порой дают гораздо больше фолсы, чем недоработки вирлабов)

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ну как бы многодвижковые решения, можно наблюдать в первых рядах и в тестах проф тестовых лабораторий, они тоже пользуются файловыми помойками?) И вы совсем не допускаете возможности, что два антивирусных движка с минимальными фолсами и отличным детектом (а такие есть на западе) не дадут отличный продукт, который сможет конкурировать с решениями "первого эшелона") перегруженных новомодными технологиями, которые порой дают гораздо больше фолсы, чем недоработки вирлабов)

Я уже писал выше, что происхождение коллекций в так называемых вами проф. тестовых лабораториях (типа AV-Test.org или AV-Comparatives.org) никому не известно. Об этом можно только догадываться. Мусора там много, не однократно об этом слышал от вендоров, которые когда-то получали оттуда якобы пропуски. Поймите, когда разница в первой десятке 2-3%, то это как раз соответствует примерному уровню погрешности из-за ошибок в коллекции. Поэтому победа мультидвижкового продукта ровно ни о чем не говорит, ведь складываются еще и фолсы, а не только детект. А фолсы почти никто не проверяет нормально.

Более того, в погоне за детектом на этих вот тестовых коллекциях многие антивирусные компании стали детектить кучу мусора по принципу "лучше задетектить, чем объяснить почему НЕ детектим". Отсюда тупо идет гонка детектов ради самой гонки, к защите это не имеет никакого отношения. Это театр порочного круга: одни собирают непонятные коллекции, другие хотят быть крутыми на этой непонятной коллекции. А в подобной гонке особо рьяно участвуют как раз вендоры третьего эшелона. Им надо любой ценой показать свою всевдокрутизну. Для это начинаются массовые детекты всех помоек, любых упакованных объектов, любых подозрительных объектов. Некоторые даже "вредосноные" куки детектят :) Плюс передирают детекты у лидеров, так как своего вирлаба у них нет.

Про перегруженность новыми технологиями это вы классно сказали. Чего там париться, лучше сигнатур могут быть только сигнатуры. Все остальные технологии - маркетинговое фуфло и их в тестах просто вредно учитывать :) И не беда, что на дворе уже не начало 90-х, а кол-во новых самплов в сутки измеряется десятками тысяч.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Кто ворвался в мой тред и сломал его?

Вообще вы смотрите RAP который по замороженным базам, хотя Vb100 давно проводит более актуальные тесты с обновлениями и облаками.

Полез смотреть результаты последнего теста VB:

Response tests Day -7 Day -6 Day -5 Day -4 Day -3 Day -2 Day -1 Average

Kaspersky 87.53% 84.17% 91.67% 84.42% 87.40% 82.66% 89.58% 86.78%

G Data 86.76% 90.54% 92.77% 85.04% 86.18% 86.37% 80.95% 86.94%

TrustPort 74.04% 91.94% 84.04% 88.92% 80.40% 88.02% 87.50% 84.98%

100 раз правы те кто говорят что только сигнатурные тесты уже мало значат, и будут еще меньше значить

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Коллеги, by all means, давайте включать в тесты все продукты, которые хотят, правда еще лучше чтобы и те, которые не хотят, а то тут в соседней ветке недоумевают почему Dr Web отстаёт по тестам.

Другое дело, что чтобы протестить весь набор надо много сил и времени.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

military, если возвращаться к тебе топика, но рассматривать его узко с точки зрения проверки качества защиты (т.е. детекта), то имеет смысл ориентировать только на динамические тесты (whole product tests или их еще называют RealWorld или Dynamic). Там проверяется суммартная эффективность всех технологий антивирусов. Мы делали такой тест довольно давно http://www.anti-malware.ru/antivirus_test_...-day_protection

Можно посмотреть более свежие тесты по такой методике от AV-Test.org или AV-Conparatives.org. Вот пример http://www.anti-malware.ru/forum/index.php?showtopic=20852

Как видите, там в топе совсем другие ребята, а не те, которые юзают пачками чужие движки не первой свежести.

ЗЫ GData поняв, что без своего вирлаба никак -- набрала людей. И это не единственный пример

Кстати ДА! И как говори мне их немцы, накачивают свое облако активно.

Хотя чему я удивляюсь - это ж АНТИМАЛВАР!!!

Признаться, Вас сюда в адвокаты антивирусным поделкам третьего эшелона никто и не звал. Трастпорт в руки и в пешое эротическое путешествие домой, шагом марш! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

efim

Влез в тему по критериям тестов с темой о том что многодвижковые АВ лучше, похамил немного, вызвал обратную реакцию и удалился.

Сергей Ильин

Коллеги, а давайте напишем большими буквами на видном месте, при регистрации особенно, что на ресурсе много, РЕАЛЬНО МНОГО людей которые являются признанными экспертами в реальном мире, а не только в уютненьком интернетике, которые занимаются проблематикой МНОГО ЛЕТ, и которые органически не приемлют безаплелляционные наезды, хотя и готовы дискутировать на спорные темы, пусть часто слишком бурно. -)

Этого понимания кстати я так понимаю многим не хватает, как и мне когда я начал сюда ходить....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Коллеги, а давайте напишем большими буквами на видном месте, при регистрации особенно, что на ресурсе много, РЕАЛЬНО МНОГО людей которые являются признанными экспертами в реальном мире, а не только в уютненьком интернетике, которые занимаются проблематикой МНОГО ЛЕТ, и которые органически не приемлют безаплелляционные наезды, хотя и готовы дискутировать на спорные темы, пусть часто слишком бурно. -)

Согласен, хорошее предложение! Можно добавить в правила форума даже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Тема разделена.

Прелести мультидвижковости тут: http://www.anti-malware.ru/forum/index.php?showtopic=23540

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
lolowin32

Добрый день, Сергей Ильин, прочитал Ваш пост, и оказался в непонятном недоумении от Ваших мыслей по поводу теста на основе сигнатурного анализа, Вы считаете что это бесполезно сканировать "Братскую могилу тушек", спешу заметить что при сканировании этой "братской могилы" многие антивирусы находят НЕ ВСЕ вредоносные программы из архива (заведомо знаю что все вредоносы), также понимаю что сканирование только по сигнатурным базам это не панацея, нужно создавать/совершенствовать различные сервисы (облачные технологии, пополнять базу фишинговых ссылок, совершенствовать эвристику), но так как Вы говорите что это бесполезно, в этом я с Вами полностью не согласен, я считаю что сканы основанные на сигнатурах, имеют право жить. Пополняя антивирусную базу мы увеличиваем процент обнаружения вредоносов (), а уж различные модули(firewall, web protection, mail protection) помогают предотвратить проникновение вредоносных программ в систему, ну а если по стечению обстоятельств вредонос попал, то сигнатурный анализ никто пока еще не отменял

Я смотрел много тестов на ютубе про скан основанный на сигнатурах, но еще пока никто не сделал адекватный тест, с показом всех настроек(да мало ли как настроен антивирус,может на пропуск всего, а может на максимум, никто ж этого не видит)

Так что я думаю что тут еще большой плацдарм для обсуждения

Обращаюсь к публике, кто заинтересован в этом вопросе, кидаем ссыли на адекватно построенные тесты, буду рад обсудить, выслушать аргументированные за и против,

Отредактировал lolowin32

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Правильно будет вот так: cexec "C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe" Remove-MpPreference -ExclusionPath "путь" и оно работает, если powerShell на месте и это действительно powershell.
    • Vvvyg
      Можно через powershell в обычном режиме: powershell Remove-MpPreference -ExclusionPath "путь" Только скриптом не удаётся выполнить, все варианты, в т. ч. с полным путём, дают ошибку [Error: 0x2 - Не удается найти указанный файл. ] exec "powerchell.exe" Remove-MpPreference -ExclusionPath "путь" exec powerchell.exe Remove-MpPreference -ExclusionPath "путь" exec "C:\WINDOWS\System32\WindowsPowerShell\v1.0\powerchell.exe" Remove-MpPreference -ExclusionPath "путь" С cexec - то же самое.
    • AM_Bot
      Платформа разведки угроз RT Protect TI способна взаимодействовать с RT Protect EDR и другими средствами защиты информации, что помогает автоматически выявить и предотвратить кибератаки, а также провести детализированное расследование с опорой на накопленные сообществом знания.      ВведениеАрхитектура RT Protect TIФункциональные возможности RT Protect TI3.1. Подключение фидов3.2. Работа с обнаружениями: «Активность»3.3. Работа с артефактами3.4. Использование YARA-правилУправление уязвимостями4.1. Менеджмент организаций, пользователей и API-клиентов4.2. Взаимодействие с RT Protect EDRСценарии использования RT Protect TI5.1. Работа с дашбордами5.2. Граф связей5.3. Создание фидов5.4. Работа с платформой в режиме веб-сервиса5.5. Определение распространённости угроз5.6. Проведение ретроспективного анализа инфраструктуры на предмет компрометацииСистемные требования RT Protect TIПлан дальнейшей разработкиВыводыВведениеКонтроль инфраструктуры на предмет наличия актуальных угроз и обогащение аналитики, применяемой в средствах защиты информации, дают возможность значительно расширить детектирующую логику, а также сформировать современную и гибкую модель защиты, обеспечивающую устойчивость к самым передовым атакам.RT Protect TI позволяет организовать централизованный процесс накопления данных Threat Intelligence и предоставить аналитикам единый интерфейс анализа выявляемых угроз.Архитектура RT Protect TI Архитектура RT Protect TI разрабатывалась с учётом первостепенных потребностей современных MSS-провайдеров в тесном взаимодействии с RT Protect EDR. Учитывались потребности как в качественном API, так и в удобном веб-интерфейсе для аналитиков, которым необходимо на ежедневной основе исследовать выявленные индикаторы компрометации и их распространённость относительно защищаемых инфраструктур.Серверная часть включает в себя хранилище распространяемых на серверы EDR наборов аналитики и проверяемых вредоносных файлов, веб-интерфейс и ключевую базу данных с информацией об актуальных угрозах и распространённости их обнаружений. Рисунок 1. Схема взаимодействия RT Protect TI с другими системами При внедрении RT Protect TI возможна реализация множества интеграций в различных сценариях:Взаимодействие с широким спектром решений: EDR, SIEM, IRP, EASM.Формирование данных об актуальных угрозах при проведении ретроспективного анализа инфраструктуры на предмет компрометации.Динамическое формирование и распространение потоков данных (фидов) и наборов аналитики, релевантных для конкретного решения или потребителя.Интеграция с решениями класса Sandbox.Функциональные возможности RT Protect TIПодключение фидовПервичной задачей при использовании киберразведывательных платформ является формирование собственной базы данных по индикаторам компрометации. Для этого в веб-интерфейсе реализована возможность подключения и гибкой настройки источников данных. Рисунок 2. Основные настройки источника данных в RT Protect TI Подключение фидов реализовано как по URL, так и путём ручной загрузки файлов. Доступ к проприетарным источникам по URL можно организовать с использованием приватных токенов доступа.При подключении источника возможно выбрать формат получаемых данных: JSON (JSONL), CSV, TXT. Далее необходимо настроить парсинг его полей.  Рисунок 3. Настройка парсинга нового источника в RT Protect TI Для каждого источника возможно выбрать, какой вердикт будет формироваться для полученных из него индикаторов компрометации: «Безопасный», «Подозрительный» или «Вредоносный». При сборе данных из источника при формировании вердикта может учитываться его вес («confidence» — уверенность в данных). Также источники с безопасными артефактами (IP-адреса, домены, хеши и т. д.) позволяют формировать белые списки и фильтровать с помощью них ложноположительные срабатывания из вредоносных источников. В свою очередь, для каждого источника в настройках указывается его приоритет, что позволяет гибко формировать вердикты для артефактов из различных фидов.Работа с обнаружениями: «Активность» По результатам анализа артефактов для каждого из последних формируется вердикт на основе данных из подключённых источников. Вердикты фиксируются в разделе «Активность», где собираются сведения обо всех артефактах, обнаруженных на подключённых клиентах, и формируется рейтинг их распространённости. На вкладке «Артефакты» отображается общая распространённость артефактов среди всех клиентов системы. На основе этих данных можно составить рейтинг угроз, определить наиболее часто встречаемые угрозы, получить статистику их распространения.  Рисунок 4. Работа с артефактами  На вкладке «Организации и клиенты» каждая угроза ассоциирована с конкретным клиентом (организацией), где она была обнаружена. С помощью этих сведений можно классифицировать угрозы в зависимости от конкретных организаций или отраслей, где угроза встречается чаще всего.Так как все обнаруженные на клиенте артефакты фиксируются, имеется возможность провести ретроспективный анализ обнаруженных ранее артефактов, для которых критерий вредоносности был установлен позже момента фактического обнаружения. Таким образом возможно выявить угрозы, которые не были задетектированы в момент их реализации. Рисунок 5. Работа с организациями и клиентами Если по данным одного источника артефакт является вредоносным, но при этом он фигурирует в белых списках по данным второго источника, то такой артефакт помечается как безопасный. Подобный разнобой может свидетельствовать о ложноположительных данных источника с вредоносными артефактами. Рисунок 6. Работа с источниками данных С использованием функциональности раздела «Источники данных» возможно анализировать артефакты из различных источников — например, искать доверенные системные хеши, данные о которых получены из фидов сообщающих о вредоносной активности. Страница позволяет произвести оценку каждого источника данных на предмет его вклада в формирование вердиктов для обнаруженных артефактов. Таким образом возможно определить как более полезные с точки зрения вклада в аналитику источники данных, так и те источники, чьи артефакты редко встречаются в обнаружениях.Эта страница также позволяет произвести корреляцию между несколькими источниками данных, тем самым предоставляя возможность выявить часто пересекающиеся источники. В таком случае аналитик может оценить полезность того или иного источника и принять решение об исключении менее популярных или источников с повторяющимися данными. Рисунок 7. Работа с источниками данных Работа с артефактамиДля каждого фигурирующего в системе артефакта доступна его страница, обобщающая все имеющиеся на платформе данные о нём. При открытии такой страницы автоматически запускаются все доступные интеграции, среди которых в зависимости от настроек и наличия интеграционных ключей могут присутствовать VirusTotal, RSTCloud, Netlas и другие. Список может быть расширен. Рисунок 8. Основная страница артефакта Система RT Protect TI содержит в своём составе собственную библиотеку тегов, созданную аналитиками команды RT Protect. Предоставляется возможность как назначить теги вручную, так и автоматически установить их из фида. Назначение тегов из внешних источников осуществляется при помощи механизма «псевдонимов», который позволяет аналитику задать соответствие между тегами из библиотеки стороннего вендора и собственной библиотеки производителя. Таким образом теги любого вендора в любом формате могут быть преобразованы в теги собственной библиотеки. Рисунок 9. Добавление тега к артефакту Помимо этого, в платформе доступна функциональность выстраивания взаимосвязей между сущностями — например, связывание вредоносного файла со вшитым в него адресом сервера управления. Рисунок 10. Связанные артефакты Важной функциональностью RT Protect TI является возможность отслеживать обнаружения в различных организациях. Это позволяет определить распространённость потенциальной угрозы и увидеть факты её детектирования в различных инфраструктурах с указанием конкретного клиента, количества обнаружений и даты последнего выявления. Рисунок 11. Обнаружения артефакта В других разделах доступны результаты обогащения данных об артефакте за счёт множества внешних интеграций, позволяющих значительно дополнить имеющуюся в фидах информацию. Рисунок 12. Информация VirusTotal по артефакту На вкладке «Внешние источники» доступна информация об обнаружениях исследуемого артефакта в настроенных ранее фидах. При этом выводится вся информация, указанная при настройке конкретного источника. Рисунок 13. Информация из внешнего источника по артефакту Ни один источник данных не может быть абсолютно достоверным. В случае ошибки либо недостатка информации для вынесения вердикта аналитик имеет возможность вручную выставить корректный вердикт для артефакта, написать дополнительный комментарий к вердикту, а также указать время его актуальности. Рисунок 14. Добавление заключения аналитика к артефакту Другой возможностью платформы, значительно повышающей удобство командной работы с обнаружениями, является функциональность добавления комментариев к каждому артефакту. С её помощью аналитики имеют возможность фиксировать замечания и наблюдения. Рисунок 15. Отображение комментариев к артефакту Использование YARA-правилПомимо проверки артефактов RT Protect TI поддерживает возможность проверки файлов — как с использованием встроенных YARA-правил, так и путём отправки в решения класса Sandbox. Рисунок 16. Область поиска информации об артефактах По результатам проверки пользователю предоставляется набор YARA-правил, срабатывание которых было зафиксировано при проверке файла. Рисунок 17. Область поиска информации об артефактах Наборы YARA-правил возможно формировать как вручную, так и путём взаимодействия с репозиториями, например на GitHub. Таким образом, единожды настроив сбор отдельного YARA-файла либо целого репозитория, возможно добиться регулярного пополнения и обновления встроенных наборов. Рисунок 18. Раздел настройки наборов YARA-правил Управление уязвимостямиПлатформа предоставляет возможность осуществлять сбор информации об актуальных уязвимостях из таких баз, как БДУ ФСТЭК России, NVD и другие, а также выявлять бреши в установленном ПО по данным из интегрируемых по API систем.В качестве примера можно привести систему анализа ПО на конечных точках во взаимодействии с RT Protect EDR. Рисунок 19. Страница уязвимости с информацией о её распространённости по организациям и экземплярам ПО Анализ на наличие уязвимостей также возможно проводить с точки зрения анализа установленного ПО. Рисунок 20. Страница ПО с информацией о найденных в нём уязвимостях и о распространённости Менеджмент организаций, пользователей и API-клиентовВ системе поддерживается мультиарендная модель разделения доступа. Это позволяет делить пользователей по организациям и ограничивать доступ к данным об обнаружениях, а также к чувствительным настройкам аналитики, распространяемой с использованием платформы. Рисунок 21. Создание новой организации в RT Protect TI При этом выделяется одна организация-владелец, пользователи которой имеют доступ ко всей аналитике, агрегируемой в платформе. Важно отметить, что в рамках каждой организации также осуществляется разделение доступа: внедрена ролевая модель. Рисунок 22. Страница организации — владельца платформы В рамках менеджмента каждой организации существует возможность как добавления пользователей, так и формирования токена доступа для интеграций. Токен позволяет обращаться к API платформы и реализовывать широкий спектр задач по взаимодействию с другими решениями. Рисунок 23. Выпуск токена клиента в RT Protect TI Ролевая модель пользователей каждой организации включает в себя три основные роли: «Администратор», «Аналитик», «Пользователь». Важно отметить, что функциональность этих ролей также зависит от того, является ли организация пользователя владельцем платформы. Рисунок 24. Создание нового пользователя в RT Protect TI Взаимодействие с RT Protect EDRОдной из ключевых функциональных возможностей RT Protect TI является глубокое взаимодействие с RT Protect EDR. TI-платформа поддерживает создание и менеджмент всех наборов аналитики, доступных в EDR. Рисунок 25. Раздел настройки наборов распространяемых индикаторов атак При формировании наборов индикаторов компрометации предоставляется возможность их гибкой настройки. В такие наборы могут попадать как материалы из различных источников данных, так и наиболее актуальные угрозы, зафиксированные в контролируемых инфраструктурах. Помимо этого, возможно автоматически добавлять в них всю получаемую при работе с платформой аналитику. Также предоставляется возможность формирования списков исключений: наборов хешей, IP-адресов и доменов, наиболее часто фигурирующих в запросах от интеграций с целью фильтрации непосредственно в тех системах, с которыми осуществляется взаимодействие. Это позволяет значительно снизить число проверок. Рисунок 26. Конфигурация набора индикаторов компрометации   Важно отметить, что эта функциональность используется как при создании наборов распространяемых чёрных и белых списков в EDR, так и при формировании собственных фидов, доступ к которым предоставляется по URL, но ограничен требованием приватного токена клиента.Сценарии использования RT Protect TI Работа с дашбордамиНа главной странице представлены основные статистические графики и таблицы. Среди прочего там доступны информация по статистике добавления новых артефактов и график активности по проверке артефактов всех типов. Рисунок 27. Статистика добавления артефактов на TI-платформу Возможно перейти отсюда к информации об обнаружениях выбранного типа артефактов за соответствующий промежуток времени либо к отчётам по конкретным артефактам. Рисунок 28. Варианты отображения дашборда «Активность» Помимо этого, представлены топ-5 фидов по вкладу в аналитику, а также трендовые и наиболее распространённые вредоносные артефакты. Рисунок 29. Просмотр дашбордов вида «Топ-5» Дополнительно возможно отследить активность по использованию интеграций: сервисов обогащения данных об артефактах, песочниц и др. Рисунок 30. Варианты отображения дашбордов отчётов Таким образом, панель дашбордов предоставляет основную сводку активности в защищаемых инфраструктурах с возможностью детализации данных по различным критериям.Граф связейВажным элементом веб-интерфейса является возможность построения и просмотра графа связей между сущностями. Граф позволяет отобразить все связи исследуемого артефакта и дополнить их. Рисунок 31. Отображение графа связей Путём выстраивания связей в рамках расследования можно существенно расширить информацию об атаке, а также получить дополнительные данные о её распространённости в подконтрольных инфраструктурах.Создание фидовRT Protect TI предоставляет функциональность по формированию собственных фидов с динамическим обновлением данных. Рисунок 32. Создание наборов распространяемой аналитики — фидов Логика конфигураций создаваемых фидов совпадает с логикой формирования наборов индикаторов компрометации, распространяемых в RT Protect EDR. Доступно формирование наборов как по данным фидов, так и по последней фиксируемой активности, а также по заключениям работающих на платформе аналитиков.Работа с платформой в режиме веб-сервисаДоступ к платформе также возможно предоставить внешним пользователям — сотрудникам сторонних организаций, чьи права на изменение аналитики и параметров взаимодействия с RT Protect EDR ограничены. Рисунок 33. Отображение главной страницы и разделов для администратора организации Администратор организации имеет возможность создавать собственные токены для интеграций, а также добавлять пользователей. Всем пользователям будет доступна только информация об обнаруженных в их организациях артефактах. Рисунок 34. Отображение активности для администратора организации Определение распространённости угрозС использованием функциональности отслеживания данных о распространённости обнаружений вне зависимости от вердикта возможно определять масштаб вредоносной активности.Допустим, в рамках расследования инцидента в одной из организаций было обнаружено, что ранее неизвестный артефакт является вредоносным. Аналитик выносит для него соответствующий вердикт и обнаруживает, что он также встречался ранее в данных из источников других организаций. В результате автоматизированно предотвращается масштабная атака — путём распространения списков блокировки. Рисунок 35. Выявление и блокирование масштабной атаки Проведение ретроспективного анализа инфраструктуры на предмет компрометации Поставляемые TI-платформой данные могут быть использованы не только в рамках задач по мониторингу и поиску угроз (Threat Hunting), но и при выполнении ретроспективного анализа инфраструктуры на предмет компрометации — особенно если в исследуемой инфраструктуре ещё не настроены СЗИ.  Рисунок 36. Использование данных TI при проведении ретроспективного анализа инфраструктуры на предмет компрометации В этом случае возможно сформировать ограниченный набор наиболее актуальных угроз и осуществить их поиск на конечных точках. В рамках этой задачи платформа RT Protect TI уже доказала свою эффективность в связке с услугой RT Retro (ретроспективного анализа инфраструктуры), предоставляемой специалистами АО «РТ-Информационная безопасность».Системные требования RT Protect TIДля корректной работы системы сервер должен соответствовать ряду требований. Таблица 1. Системные требования к серверу управленияКомпонентТребованияМинимальныеРекомендуемыеЦП8 ядерНе менее 10 ядер частотой минимум 2,4 ГГц с возможностью работы в 20 потоковОЗУ16 ГБ32 ГБСвободное место на диске1 ТБ2 ТБ (итоговый размер будет зависеть от количества подключённых источников)Программное обеспечениеLinux-сервер с 64-разрядной архитектурой и ОС, поддерживающей контейнеризацию с использованием Docker План дальнейшей разработкиКлючевыми направлениями развития платформы являются:Расширение набора поддерживаемых сущностей: «Malware», «Tool», «Incident», «Campaign», «APT» и т. д. Поддержка протокола STIX позволит значительно углубить информацию об обнаруживаемых угрозах и возможности проведения соответствующего анализа.Поддержка проверки индикаторов компрометации не только с использованием API, но и путём направления исходных логов (по протоколам Syslog, CEF и др.) непосредственно в TI-платформу.Дальнейшее развитие сервисной модели использования (веб-версии).Развитие гибкости взаимодействия с различными СЗИ и сервисами.Полный план разработки продукта может быть предоставлен в рамках пилотного проекта.ВыводыRT Protect TI предоставляет функциональность по агрегации, корреляции и хранению данных о киберугрозах, обеспечению своевременности мер реагирования, а также актуализации экспертизы. При интеграционном взаимодействии с RT Protect EDR и другими средствами защиты платформа способна показать полный ландшафт угроз в инфраструктуре.Достоинства:Мультиарендная модель с возможностью использования на месте (on-premise), в облаке (on-cloud) и в формате SaaS.Гибкое управление фидами и артефактами, возможность создания собственных фидов.Возможность взаимодействия с решениями класса Sandbox.Глубокое интеграционное взаимодействие с RT Protect EDR.Входит в реестр российского ПО.Недостатки:Высокоуровневые данные TI доступны только в метаданных (реализация сущностей запланирована на 2025 г.).Нет сертификатов ФСТЭК и ФСБ России.Взаимодействие со сторонними СЗИ возможно только по API (реализация обработки «сырых» логов запланирована на 2025 г.).Читать далее
    • demkd
      В документации правильно, просто забыл убрать, после того как сменил тип интеграции.   Удаление исключений работает только в режиме виртуализации, в принципе системная защита ядра легко преодолевается, но дефендер тогда сходит с ума и ведет себя неадекватно, поэтому только виртуализация, можно конечно допилить что бы удалялось через api, но это все равно не будет работать с неактивной системой, поэтому оставил так как есть.
    • santy
      Demkd, судя по тестам интеграция uVS и  WinRE, запуск uVS из меню Winpe прошли нормально. (проверил на W10), Единственно, после завершения интеграции выходит сообщение, что при обновлении uVS интеграцию необходимо повторить. Так ли это? В документации указано, что если обновление выполнено в каталоге, который ранее был интегрирован с WinRe, то повторная интеграция не нужна.  
×