AGAVA Antispam Gateway - новый корпоративный антиспам

[Mike Ilyin 0]

Здравствуйте!

Разрешите представить Вам новые продукты, только что вышедшие на рынок. Это AGAVA Antispam Gateway (AAG) и AGAVA Mailprotect Gateway (AMG). Основное их назначение - фильтрация спама и антивирусная защита.

Продукты отличаются высокими потребительскими свойствами и эффективно решают наиболее распространенные проблемы корпоративного пользователя. Вот только ряд черт, характерных для AGAVA Antispam Gateway и AGAVA Mailprotect Gateway:

AAG предназначен исключительно для фильтрации спама, а AMG - для фильтрации спама и антивирусной защиты (добавляется плагин Dr.WEB). Gateway - фильтрующий шлюз для SMTP-сервера. Он предназначен для установки на сервере под управлением Windows для обработки входящего потока почты, изъятия из этого потока спама (AAG) и писем с вирусами (AMG) и пересылки очищенной почты по SMTP на «другой» почтовый сервер. Этим «другим» почтовым сервером (защищаемым) может быть любой SMTP-сервер, работающий на любой платформе и в любой сети (локальная сеть/интернет).

Узнать более подробную информацию о новых продуктах, а также скачать их можно на сайте производителя по адресу: http://agava.com/ru/products/.

Предлагаю потестировать и обсудить наши новинки!

[Николай Терещенко 0]

А это не та же компания, которая занимается хостингом (http://www.holm.ru)?

Хм, интересно.

[Mike Ilyin 0]

Николай Терещенко

Да, в состав компании входит проект holm.ru. Что Вам конретно интересно?

[Сергей Ильин 1538]

алгоритм Spamprotexx: основан на методе Байеса, но значительно превосходит его по возможностям, эффективности и производительности;

Меня, если честно, смущает, что он на основе байеса сделан, путь даже модифицированного. Я поню не однократно приходилось читать, что байес мол не стабилен и не эффетивен на большом потоке, т.е. для персональщиков он вроде как еще пойдет, а вот для корп. клиентов - не очень.

Какая эффективность и уровень ложный срабатываний у антиспама, есть какие-то данные тестирования?

Чем AGAVA Antispam Gateway (AAG) лучше скажем SpamAssassin, который тоже на байесе, но зато бесплатный совсем?

[Mike Ilyin 0]

Сергей, байес - основа любого статистического алгоритма. Винить нас за его использование - (как правильно сказал один из читателей Вебпланеты) как автомобилестроителей за следование законам физики.

Другое дело, что на самом деле в механизме Spamprotexx помимо байеса ещё очень много совершенно уникальных алгоритмов. Именно они позволили нашему классификатору избавиться от бича SpamAssassin'а и ему подобных - эффекта переообучаемости. Это действительно происходит только при довольно больших потоках, когда через некоторое время вероятности большинства писем стремятся к 0.5 и фильтр не может определить куда отнести письмо. Даже у персональных версий байесовских фильтров (BayesIt и пр.) есть такая проблема - хватает нескольких месяцев для падения. В Spamprotexx же этой проблемы нет по определению. 8)

Помимо этого, Spamprotexx в отличие от простого байеса гораздо эффективнее и точнее классифицирует почту. Я лично когда-то сравнил простого байеса (алгоритм SpamAssasin) и наш классификатор. Просто загрузил в первый все сообщения из моего почтового клиента и проверил, что и куда он отнесёт. Честно говоря, я такого сам не ожидал - количество false positives у простого байеса при пороге 0.6 было на два порядка больше, чем у Spamprotexx при пороге 0.9!!! :shock:

Ну это я так, отвлёкся. По результатам тестирования серверной версии классификатора число ложных срабатываний приблизительно равно 0.001%. При включении же "функции проталкивания" проблема исчезает полностью, так как честный отправитель в случае ошибки классификатора получит мейлер-даймона, в котором будет указана причина недоставки и URL, нажатие на который инициируется доставка письма адресату с одновременным обучением фильтра.

[broker 30]

При включении же "функции проталкивания" проблема исчезает полностью, так как честный отправитель в случае ошибки классификатора получит мейлер-даймона, в котором будет указана причина недоставки и URL, нажатие на который инициируется доставка письма адресату с одновременным обучением фильтра.

очень интересный момент, а как определяется честный отправитель?

или отбивки посылаются на все письма помеченные как спам?

не боитесь повышения трафика?

Добавлено спустя 1 минуту 34 секунды:

URL, нажатие на который инициируется доставка письма адресату с одновременным обучением фильтра

получается, что если по каким либо причинам кто-то не кликнул на URL, то его письмо пропадёт?

[Mike Ilyin 0]

очень интересный момент, а как определяется честный отправитель?

или отбивки посылаются на все письма помеченные как спам?

не боитесь повышения трафика?

AGAVA Antispam Gateway не высылает отправителю спам-письма никаких писем-извещений - это действительно способно только увеличить количество бесполезных писем в сети, т.к. вирусы и спамеры подделывают обратный адрес. Он всего лишь говорит отправляющей программе «я не буду доставлять это письмо». А вернет письмо «хозяину» сама отправляющая программа. Причем если отправитель не спамер! Если письмо отправляла спамерская программа массовой рассылки, то она не возвращает писем при получении отрицательных ответов принимающей стороны. Т.е. непричастные к этому спаму люди, даже если их адрес используется спамером как фиктивный обратный адрес спама, никаких извещений о чужом спаме не получат.

Так что повышаться трафик точно не будет! Мало того, он будет даже экономиться, так как опционально можно включить непринятие писем, адресованных несуществующим в домене (или в списке пользователей AAG) пользователям. Как известно, многие спамеры любят слать рассылки по распространённым именам, вроде john@, nick@, michael@, smith@ и пр. Включив эту опцию, можно сразу отсечь немаленькую долю спама и сэкономить траффик.

[broker 30]

Так что повышаться трафик точно не будет! Мало того, он будет даже экономиться, так как опционально можно включить непринятие писем, адресованных несуществующим в домене (или в списке пользователей AAG) пользователям. Как известно, многие спамеры любят слать рассылки по распространённым именам, вроде john@, nick@, michael@, smith@ и пр. Включив эту опцию, можно сразу отсечь немаленькую долю спама и сэкономить траффик.

это можно реализовать средствами практически любого МТА, например postfix.

Но доля таких писем мала, основной спам идёт на абсолютно реальные адреса, в большинстве случаев с абсолютно реальных подставленных доменов.

[Mike Ilyin 0]

получается, что если по каким либо причинам кто-то не кликнул на URL, то его письмо пропадёт?

Все письма, классифицированные как спам хранятся в архиве AAG столько, сколько установил его администратор. При помощи удобного веб-интерфейса этот архив можно просматривать, удалять, обучать и доставлять нужные письма.

Добавлено спустя 59 секунд:

основной спам идёт на абсолютно реальные адреса, в большинстве случаев с абсолютно реальных подставленных доменов.

Как я уже сказал выше, эта проблема нами решена.

[broker 30]

Он всего лишь говорит отправляющей программе «я не буду доставлять это письмо».

это вы описали ответ 550 (reject).. такое есть на mail.ru

А вернет письмо «хозяину» сама отправляющая программа.

она вернёт ответ от вашего сервера, а не письмо

Кстати очень редко бывает, когда непосрдественно ПРОГА куда то коннектится.. обычно это разговор двух серверов.

но как же организована функция протакливания?

Добавлено спустя 4 минуты 16 секунд:

короче интересны сравнения вашего решения с другими.

[Mike Ilyin 0]

она вернёт ответ от вашего сервера, а не письмо

письмо же отправителю вернёт его собственный мейлсервер

но как же организована функция протакливания?

При классификации письма как спам AAG выдает отправителю сообщение о недоставке почты (5хх ответ на команду DATA). В этом ответе содержится URL проталкивания. MTA отправителя, если это не спам-машина, обязательно возвращает такое письмо отправителю, включая ответ AAG как причину недоставки. Соответственно отправитель получает и URL проталкивания с призывом обратиться по этому URL. Этот URL ведет на встроенный в AAG веб-сервер, при обращении к которому отправитель письма (не спамер) имеет возможность дать команду доставить остановленное письмо минуя спам-фильтр. Это компенсирует (фактически отменяет) негативный эффект ложных срабатываний - письмо в итоге доставляется, и спам-фильтр автоматически дообучается. В то же время спам-машины не могут воспользоваться этим средством для обхода фильтра.

Добавлено спустя 1 минуту 49 секунд:

короче интересны сравнения вашего решения с другими

Я думаю это не проблема. По функционалу и по цене мы обыграем любого. 8) Осталось найти кто будет независимо тестировать!

[broker 30]

AAG выдает отправителю сообщение о недоставке почты (5хх ответ на команду DATA).

приведите скриншот ПЛЗ

[Mike Ilyin 0]

приведите скриншот ПЛЗ

скриншот чего конкретно, простите?

[broker 30]

а лучше скриншоты..

интересно посмотреть на ЧУДО..

и как вы собираетесь защищаться от DoS на веб сервер

Добавлено спустя 45 секунд:

вид ответа о недоставке с URL

[Mike Ilyin 0]

интересно посмотреть на ЧУДО..

А может быть стоит зайти на сайт http://www.agava.com/ru/products/, скачать и посмотреть его вживую? Месячный триал в свободном доступе!

[broker 30]

Mike Ilyin

конечно стоит, но сначала покажите картинку с URL

[Николай Терещенко 0]

Mike Ilyin

конечно стоит, но сначала покажите картинку с URL

Перефразирую.

Прежде чем тестировать, хотелось бы составить первое впечатление по уже работающей системе (так сказать встреча по одежке). У вас наверняка он развернут. Скриншоты консоли управления, анализа и прочее (много не надо).

[Mike Ilyin 0]

Ок, обязательно продемонстрирую. К сожалению, сегодня пятница и все разработчики разошлись, а снять скрины могут только они. Так что как только - так сразу!

[ac 0]

Прежде чем тестировать, хотелось бы составить первое впечатление по уже работающей системе (так сказать встреча по одежке). У вас наверняка он развернут. Скриншоты консоли управления, анализа и прочее (много не надо).

Там в документации (в дистрибутиве AAG), кстати, есть несколько скриншотов - может быть стоит это описание на сайте вывесить.

А письмо с URL проталкивания легко себе представить - возьмите любой отлуп своего сервера (где он возвращает письмо с припиской "550 такого ящика нет", например), и представьте себе на месте надписи "такого ящика нет" надпись "550 Это спам, для проталкивания нажми на этот URL: http://...". Вот и всё. Этот отлуп же (возвращаемое пимьмо с припиской) формирует не AAG, а сервер отправителя, поэтому текст там будет отличаться в зависимости от шаблонов конкретного сервера (не связанного с AAG) - Postfix, Exim, Exchange, Eserv и т.д. Но их объединяет то, что все они включат в ответ текст, выданный сервером получателя - собственно эту "550 ... http://..." строку, объясняющую отправителю, что нужно сделать. И на указанной странице (по этому URL) объясняют тоже.

Добавлено спустя 6 минут 20 секунд:

Он всего лишь говорит отправляющей программе «я не буду доставлять это письмо».

это вы описали ответ 550 (reject).. такое есть на mail.ru

Да-да, вы правильно вспомнили. Но mail.ru там говорит "пишите на abuse@...", а AAG в этом месте выдает URL, на который просто достаточно щелкнуть, и ваше письмо доставится - не нужно писать никаким абусям и объяснять, что вы не спамер (если вообще этот abuse@ кто-то читает).

Добавлено спустя 10 минут 47 секунд:

URL, нажатие на который инициируется доставка письма адресату с одновременным обучением фильтра

получается, что если по каким либо причинам кто-то не кликнул на URL, то его письмо пропадёт?

URL выдается только тем, чье письмо классифицировано как спам. Оно действительно рискует пропасть (остаться в спам-архиве на AAG), если отправитель на URL не нажал, и если админ AAG не просматривает спам-архив. Но в любых других спам-фильтрах это письмо пропадает без всяких если. Возможность "проталкивания" потому и считается плюсом, что дает дополнительный шанс письму в случае ложного срабатывания. Причем автоматизированный шанс Врядли существует более логичный способ решения этой задачи.

[Mike Ilyin 0]

Выкладываю обещанные скриншоты:

пример письма, который получит отправитель письма _от своего MTA

что увидит отправитель, нажав на URL проталкивания в возвращенном письме. Эту страницу выдает веб-сервер из AAG на защищаемом сервере

[Сергей Ильин 1538]

Сергей, байес - основа любого статистического алгоритма. Винить нас за его использование - (как правильно сказал один из читателей Вебпланеты) как автомобилестроителей за следование законам физики. Very Happy

Я согласен, что многие его используют, но есть продукты и без байеса, тот же Спамтест, теперь уже Антиспам Касперского. Ашманов неоднократно говорил, что они не будут внедрять байес по причине его возможной "переобучаемости", вы об этом правильно написали ниже.

Другое дело, что на самом деле в механизме Spamprotexx помимо байеса ещё очень много совершенно уникальных алгоритмов. Именно они позволили нашему классификатору избавиться от бича SpamAssassin'а и ему подобных - эффекта переообучаемости. Это действительно происходит только при довольно больших потоках, когда через некоторое время вероятности большинства писем стремятся к 0.5 и фильтр не может определить куда отнести письмо.

Все верно, это я и имел ввиду.

А можете кратко рассказать, что за уникальные алгоритмы реализованы в Spamprotexx в добавок к байесу?

Еще хотел спросить, сейчас много говорят о фишинге, планируется ли добавить в продукт фильтры фишинговых рассылок (фильтрация по URL теле письма в первую очередь)?

Если фильтрация по языку сообщения?

[Mike Ilyin 0]

А можете кратко рассказать, что за уникальные алгоритмы реализованы в Spamprotexx в добавок к байесу?

К сожалению, это закрытая информация. Как Вы можете заметить, Ашманов вообще не разглашает свои методы.

Еще хотел спросить, сейчас много говорят о фишинге, планируется ли добавить в продукт фильтры фишинговых рассылок (фильтрация по URL теле письма в первую очередь)?

Да, такое развитие продукта входит в наши планы. Вообще, в планы входит очень много внедрений, плюс мы всегда открыты для предложений - все запросы с формы техподдержки на сайте www.agava.com просматриваются лично мной и ведущими разработчиками. Все идеи принимаются, анализируются и ставятся в планы на будущее.

Если фильтрация по языку сообщения?

Немного не понял сути вопроса.

[Кирилл Керценбаум 671]

Я думаю это не проблема. По функционалу и по цене мы обыграем любого. Осталось найти кто будет независимо тестировать!

Не соглашусь, по цене может эта технология и побьет любого (как я понял средняя цена 7$ за ящик, это немного дороже другого российского решения СпамОбороны, которая при всей спорности своей технологии, показывает очень хорошие результаты), но вот по функционалу вряд ли, так как главная проблема все же в использовании хоть и модифицированного но Байеса, данная технология уже мне кажется исчерпала себя, особенно для корпоративных клиентов, они не хотят никого и ничему учить, этим должен заниматься производитель, совершенствуя правила, а у вас как я понимаю никаких обновлений не существует

Он всего лишь говорит отправляющей программе «я не буду доставлять это письмо». А вернет письмо «хозяину» сама отправляющая программа.

К сожалению почтовые сервера часто бывают сконфигурированы так, что они ничего никому не отправляют

Мало того, он будет даже экономиться, так как опционально можно включить непринятие писем, адресованных несуществующим в домене (или в списке пользователей AAG) пользователям

Вот это хорошая вещь, то есть есть интеграция по LDAP если я правильно понял, а какие LDAP сервера поддерживаются?

Все письма, классифицированные как спам хранятся в архиве AAG столько, сколько установил его администратор. При помощи удобного веб-интерфейса этот архив можно просматривать, удалять, обучать и доставлять нужные письма.

В каком формате они хранятся? База данных или физически? Это проблема многих антиспамов, где письма хранятся физически на диске и поиск осуществлять очень быстро становится невозможно

Добавлено спустя 16 минут 17 секунд:

Да-да, вы правильно вспомнили. Но mail.ru там говорит "пишите на abuse@...", а AAG в этом месте выдает URL, на который просто достаточно щелкнуть, и ваше письмо доставится - не нужно писать никаким абусям и объяснять, что вы не спамер (если вообще этот abuse@ кто-то читает).

и при этом нужно ввести уникальный код, что усложняет задачу обхода данной защиты, но вот в данном случае мне кажется очень просто создать программку которая все это будет делать автоматически и считай что все бесполезно

что увидит отправитель, нажав на URL проталкивания в возвращенном письме. Эту страницу выдает веб-сервер из AAG на защищаемом сервере

Пока интерфейс не впечатляет, чем то похож на СпамоОборону

Я согласен, что многие его используют, но есть продукты и без байеса, тот же Спамтест, теперь уже Антиспам Касперского. Ашманов неоднократно говорил, что они не будут внедрять байес по причине его возможной "переобучаемости", вы об этом правильно написали ниже.

Используют его в основном в OpenSource проектах, но в технологичных антиспамах Байесов уже нет ни в каком виде, как пример: Symantec, Trend Micro, McAfee, СпамоОборона, Касперский - там не было, нет и не будет Байес технологий

А можете кратко рассказать, что за уникальные алгоритмы реализованы в Spamprotexx в добавок к байесу?

Вот тут есть немного

http://www.spamprotexx.ru/features/algorithm.shtml

Сергей Ильин писал(а):

Если фильтрация по языку сообщения?

Немного не понял сути вопроса.

Имеется ввиду, что сейчас во многих антиспам решениях появился очень эффективный способ бороться например с китайским спамом посредством ограничения на прием писем только на определенных языках (то есть проверяется набор кодировок), правда его можно обойти, но все же это хоть и немного но повышает эффективность

[broker 30]

у меня есть мнение, что метод проталкивания - как защита от ложных срабатываний выглядит по детски и ориентированы на людей кому необходимо, чтоб его письма дошли.

А есть категория отсылателей , кому абсолютно не важно ответят или нет и более того им ответа не надо.

Например: санкционированные запрошенные рассылки, общение клиента и с сервисом (при чём антиспам от агавы стоит у клиента).

Есть понятие, что если кто-то не принимает почту - ТО САМ ВИНОВАТ.

Вот это хорошая вещь, то есть есть интеграция по LDAP если я правильно понял, а какие LDAP сервера поддерживаются?

как я уже писал - эта фича есть практически у любого МТА

Symantec, Trend Micro, McAfee, СпамоОборона, Касперский

согласен, как и нибудет проталкиваний.. старая стрёмная технология..и пахнет новой угрозой под названием ФИШИНГ сообщений 550 от антиспама АГАВА.

Представляете, приходит вам письмо с фразой:

Вы тут письмо послали, но оно не дошло КЛИКНИТЕ по ссылочке..

А там Троянчик..

В общем.. неразумная штука.

[Кирилл Керценбаум 671]

как я уже писал - эта фича есть практически у любого МТА

Да, но если это еще сделано в удобном, интуитивном и функциональном виде, то можно считать сильно полезным делом

В общем.. неразумная штука.

Согласен, неразумная и трудность также кто-то должен обучать пользователей принимающей стороны, а кому это надо?