Остановить ежедневную отправку спама в интернете нереально. Зато реально бороться с его получением, перекрыв канал по которому она приходит к адресату.
Утром в понедельник вы включаете свой рабочий компьютер и запускаете почтовую программу... Опять! Они опять не дают вам покоя. В инбоксе больше сотни непрочитанных писем, в глазах рябит от «V1AGR@». Первые полчаса рабочего дня вы снова потратите на разгребание Авгиевых конюшен, а ведь в электронном, скорее уже не почтовом, а мусорном ящике, нужно еще и отыскать действительно нужные сообщения.
Знакомая ситуация? Увы, знакома она, миллионам тех, для кого электронная почта является одним из основных каналов коммуникации. По данным различных компаний до 80% всей электронной почты рассылаемой в Интернет является спамом – незапрошенными, массовыми, анонимными рассылками. Это значит, что 80% почтового трафика оплачивается компаниями и абонентами интернет-провайдеров впустую. Огромная доля дискового пространства почтовых серверов резервируется под ненужную корреспонденцию. ИТ-отделы вынуждены привлекать большее количество системных администраторов для борьбы с напастью, а рабочее время сотрудников тратится на каждодневную схватку с переполненным почтовым ящиком.
К сожалению, технологические особенности электронной почты и протокола SMTP таковы, что неограниченное число сообщений может быть отправлено любому адресату, причем, при желании, абсолютно анонимно. В ближайшем будущем кардинального перехода на другое, столь же популярное как электронная почта, средство общения не ожидается. Меры же по аутентификации отправителей (например, технологии Sender ID, Domain Keys) или другие надстройки к системе SMTP не дают, сколь бы то ни было ощутимого, эффекта из-за своей половинчатости и недостаточной распространенности. Остановить ежедневную отправку различного рекламного и откровенно мусорного трафика в интернете нереально. Зато реально бороться с получением, перекрыв канал по которому она приходит к адресату?
В конце 90-х электронная почта проникла буквально во все сферы человеческой деятельности и вместе с популярностью e-mail росла катастрофичность ситуации со спамом. Тогда же появились и первые средства для блокирования незапрошенной корреспонденции при ее получении. С тех пор борьба идет с переменным успехом, эволюционируют системы фильтрации спама, не стоят на месте и спамерские технологии. Одним из недавних ответов на эти технологии стал вышедший «из под пера» отечественных разработчиков «Лаборатории Касперского» продукт Kaspersky Anti-Spam 3.0. Сами авторы называют его огромным шагом вперед в деле решения проблемы спама для компаний и провайдеров. Попытаемся разобраться что это за продукт, как он работает, и в чем отличается от своих предшественников.
«Прежде всего, фильтрация спама это не продукт, а целый процесс, человеко-машинная цепочка!», — говорит Андрей Калинин, системный архитектор продукта и Анна Власова, руководитель группы спам-аналитиков «Лаборатории Касперского». Цепочка эта состоит их нескольких звеньев – сбор спама в интернете, работа спам-лаборатории, формирование обновлений, необходимых для работы продукта, и, собственно, самого продукта Kaspersky Anti-Spam 3.0, установленного у клиента.
Для того, чтобы отслеживать начало новых рассылок в Сети и иметь возможность анализировать спамерские трюки, применяемые для обхода фильтров, необходимо получать достаточно большие объемы спама – причем в реальном времени. В спам-лабораторию спам попадает из трех основных источников – пересылается энтузиастами, поддерживающими развитие продукта, поступает от крупных клиентов «Лаборатории Касперского» (таких как Mail.ru или «Вымпелком»), а также – пересылается со специальных адресов-«ловушек», размещенных по всему Интернету, и намеренно зарегистрированных на сомнительных сайтах, чтобы они попали в базы спамеров.
«Интересно отметить», — рассказывает Анна Власова, — «что разные источники — это разный жанр спама. Это касается как географии источников, так и расположения их на почтовых серверах разного характера. Например, спам, приходящий на бесплатные почтовые сервера наподобие Hotmail, куда сыплется масса предложений купить университетский диплом, значительно отличается от спама на корпоративных адресах а-ля info@company.com, куда приходит большое количество приглашений на семинары и конференции и т.д. Сегодня наша спам-лаборатория получает и анализирует несколько сотен тысяч спамерских сообщений в сутки. И работаем мы тоже – круглосуточно, и в Новый Год, и в выходные».
В лингвистической лаборатории сейчас работают 12 человек, коллектив постоянно расширяется за счет специалистов по новым языкам. Все эти люди занимаются непрерывным анализом спама. Это специалисты с высшим лингвистическим образованием, с опытом работы в области прикладной лингвистики и искусственного интеллекта. Задача дежурных спам-аналитиков – сразу же добавить сигнатуру (образец) нового спамерского письма в базы обновлений, а затем провести его глубокий анализ, выделить новые термины и фразы, типичные для спама, назначить им вес, определяющий, как продукт будет реагировать на них. Помимо этого, спам-аналитики параллельно занимаются анализом "конверта" письма, то есть его формальных признаков (отправитель, получатель, путь следования и т.п.) и созданием новых правил для распознавания уже по этим признакам.
Те обновления, которые формируются спам-лабораторией, становятся доступными продукту, установленному у клиента, каждые 20 минут. «В новой, третьей версии появилась и технология UDS, Urgent Detection System, позволяющая параллельно использовать второй тип сигнатур – причем в режиме реального времени! Теперь уже через секунду после обнаружения новой рассылки продукт блокирует ее, т.к. моментально получает информацию о ней.» — говорит Андрей Калинин.
На вопрос, почему продукту необходимы обновления, он отвечает: «Регулярное обновление баз чрезвычайно важно по трем причинам. Во-первых, высокая подвижность спамерского лексикона. Естественно, что используемые выражения и фразы постоянно меняются, хотя бы потому что, в основном, это великий и могучий русский язык. Во-вторых, повторяемость спамерских рассылок достаточно велика, до 10-15% – иногда происходят повторные рассылки спустя несколько дней, иногда несколько писем вообще приходит «пачкой», одно и то же письмо с минутным интервалом. Имея сигнатуру этого письма, пришедшую с обновлениями, это сообщение легко блокируется. Ну и наконец, скорость распространения одной рассылки конечна – невозможно разослать за секунду письма на несколько миллионов адресов. Поэтому, можно засечь и заблокировать получение рассылки еще до ее завершения».
Как же работает продукт на стороне клиента? «Фильтр спама вообще, это серверная программа, которая устанавливается на входе в сеть и фильтрует входящий поток почты, определяет, какие из входящих сообщений являются спамом», — продолжает Андрей.
Kaspersky Anti-Spam предназначен для распознавания и фильтрации нежелательных почтовых сообщений в процессе приема электронной почты по протоколу SMTP, то есть до того, как сообщения будут доставлены в почтовый ящик конечного получателя. Это полнофункциональный почтовый продукт, работающий на Linux и FreeBSD — платформах, широко распространенных в крупных почтовых системах интернет-провайдеров и крупных компаний.
Получая новое письмо, Kaspersky Anti-Spam всесторонне анализирует его, используя в комплексе различные методы определения спама, многие из которых не имеют аналогов в мире. Письмо сопоставляется с различными публичным «черными списками» - DNSBL (DNS-based Blackhole List), в которых IP отправителя сравнивается с таковыми, хранимыми в различных DNSBL как подозрительные или однозначно спамерские. Администратор почтовой системы, используя Kaspersky Anti-Spam, может и сам добавить любые свои «Черные списки». Результаты такой проверки будут учитываться при вынесении вердикта письму – является оно спамом или нет. Также, в версии 3.0 может учитываться авторизация отправителя по технологии SPF (Sender Policy Framework).
В дополнение к DNSBL, блокирующим спамерские IP-адреса, используется технология SURBL (Spam URI Realtime Block List), выявляющая спамерские URL в теле сообщения. Тут уже спам выявляется не по принципу «кто прислал», а «кто в письме рекламируется».
Отсутствие адреса отправителя, отсутствие или слишком много получателей, отсутствие IP-адреса в системе интернет-адресов DNS и т.д. – все это является признаками спамерского сообщения. Это проверяется на третьем этапе анализа. «По формальным признакам», — как называет его Анна Власова, руководитель группы спам-аналитиков «Лаборатории Касперского». Также учитывается размер, формат сообщения.
Четвертый шаг в процессе анализа продуктом входящего сообщения – лингвистический разбор текста. Тут проверяется наличие в письме признаков спамерского содержания: определенного набора и распределения по письму специфических словосочетаний. Причем Kaspersky Anti-Spam анализирует не только текст самого письма, но и вложения.
Самое интересное, это новая технология GSG-2, позволяющая идентифицировать графический спам, доля которого в последнее время резко увеличилась. «Этот метод позволяет нам обнаружить спам, даже если он представлен в виде намеренно зашумленной, модифицированной картинки» - говорит Андрей Калинин.
Каждый из перечисленных методов анализа прибавляет свой вес к статусу письма и в завершение они суммируются. Превышен порог – письмо летит в папку «Спам». Если письмо набрало мало баллов – оно доставляется адресату. А может ли приложение «сомневаться»? «Может!» — рассказывает Андрей, — «Если некое письмо не получило однозначной оценки, выполняется моментальный запрос к UDS-серверу, сердцу технологии Urgent Detection System. Он содержит данные о самых последних рассылках, информация о новом спаме добавляется в тот же момент, когда он обнаружен спам-аналитиком. На основании полученной информации письму присваивается окончательный статус (спам / не-спам).»
А может ли продукт ошибаться? Разработчики отвечают, что доля таких ошибок, ложных срабатываний, когда легальное письмо определяется как спам, ничтожно мала, примерно 1 случай на сто тысяч сообщений, причем, как правило, попадают «под нож» пресс-релизы или массовые рассылки с рекламной тематикой. Андрей Калинин, системный архитектор продукта, считает, что: «Вообще, очень важно не обеспечить 100% отсев спама, кстати, это не так уж сложно, а соблюсти баланс, при котором 95% спама не доходит до адреса, но и ни одно важное деловое письмо не потеряется. Мы в своем продукте сделали ставку на отсутствие ошибок и ложных срабатываний».
Другой интересный вопрос, это то, как продукт справляется с большим потоком почты, ведь каждое письмо подвергается подробной антиспамовой экзекуции. По результатам тестирования выясняется, что по сравнению с предыдущей версией, Kaspersky Anti-Spam 3.0 обрабатывает в 4,5 раза больше почты на том же оборудовании. Объем обновлений же снижен в 3,5 раза при сохранении их частоты и переходу к дополнительным UDS-запросам в режиме реального времени. «В среднем, на легком сервере с процессором P4-2.6 и гигабайтом памяти, продукт легко обрабатывает 2,5 млн. сообщений в сутки», — улыбается Калинин., — «Новая версия продукта была разработана таким образом, чтобы кардинально поднять производительность Kaspersky Anti-Spam».
Так что же, в итоге, принесет компании или провайдеру использование этого продукта? Анна говорит: «Вы знаете, помимо нашей основной, программисткой работы, мы раз в год проводим конференцию «Проблема спама и ее решения». Рассказываем участникам о ситуации в сфере спама, трендах, о том какие средства борьбы актуальны сегодня. И я запомнила слова одного из наших клиентов, сказавшего — «Эта конференция называется «Проблема спама...», но к счастью спам для меня уже давно не является проблемой. Я установил и настроил спам-фильтр, благо его еще и вовсе не нужно регулярно подкручивать. Лишь 1-2 раза в неделю мне падает в почтовый ящик письмо с «Виагрой», и оно меня совершенно не раздражает. Это капля в море, по сравнению с тем, что было. Для меня проблема спама — решена».
01.06.2007
