Спам и антиспам

 

В конце 2011 года разработчики проекта dkim-milter прекратили его поддержку и разработку. К счастью, на замену проекта dkim-milter пришел OpenDKIM, с помощью которого добавить DKIM-подпись в письма так же просто.

Мы много пишем в этом блоге о принципах легальной рассылки и о том, как тонка грань между рекламой, на получение которой дал согласие пользователь, и спамом. Но реальность такова, что в итоге решение вести рассылку по всем правилам или разослать миллион рекламных писем по какой-то мутной базе — остаётся исключительно на совести рекламодателя. На западе же ситуация принципиально иная, и российским компаниям, выходящим на зарубежные рынки, полезно будет знать, что и «невинная» рассылка по какой-нибудь купленной базе зарубежных пользователей может оказаться серьёзной угрозой финансам компании, так как во многих странах уже разработано законодательство, непосредственно предусматривающее судебные разбирательства и штрафы за каждый факт нежелательной рассылки. В этом обзоре мы собрали и систематизировали информацию о том, как устроены законы о спаме в разных странах мира.

Самое жесткое к спамерам законодательство – в Германии и Австралии.



Согласно австралийскому Spam Act 2003, штрафы могут доходить до 1,1 миллиона австралийских долларов в день. Будучи лидером по спам рассылкам в своё время, Австралия в итоге применения жестких санкций смогла практически задушить у себя спам. Если Австралия далеко, и фигурирует в истории российских корпоративных промахов не так часто, то попытки выйти на рынок Германии сопряжены со многими скорбями и печалями, порожденными незнанием.

Как сервис email-рассылок, UniSender находится на переднем краю борьбы со спамерами — желающие воспользоваться нашими возможностями для рассылки спама возникают регулярно, и нам так же регулярно приходится их отсеивать — душить, можно сказать, в зародыше, блокируя спамерские аккаунты и попытки нелегальных рассылок. Это, на самом деле, большая работа. О том, как работает антиспам UniSender, мы и расскажем в этой статье.

Предисловие

Все знают, что такое электронная почта. Также все знают что же такое спам. Мировые объемы спама достигают 140 миллиардов сообщений ежедневно и такое огромное количество спама просто не позволяет более-менее эффективно использовать почту без какой-либо системы фильтрации нежелательной почты. При том один из самых важных факторов остается недопущение ошибок.

За долгое время было перелопачено много систем антиспама и как-то все не удовлетворяли в полной мере потребность. Но однажды предложили рассмотреть ironport от компании Cisco. Изначально я отнесся скептически, посчитал, что западная железка, да ещё и без байесового фильтра не сможет эффективно отсеивать русский спам, к тому же не допуская ошибок. Ну и цена! По расспросам людей в дружеской беседе, мне называли совершенно разные цифры, которые доходили до миллионов рублей. Это пугало, мало кто захочет отдавать такие деньги за фильтрацию всего лишь нежелательного контента. К тому же в интернете, к моему удивлению, совсем мало информации по этой системе. Даже в википедии только скудная статья на английском, а на русском совсем и нет ничего. И так, что же из себя представляет ironport и почему я его буду рекомендовать для почтовых систем среднего бизнеса и выше, я попробую ответить здесь.

Типичная картина:

Менее 60 писем из 10000 достигают адресата.

Эта замечательная история началась в декабре прошлого года, когда жена спросила моего совета по поводу одной интересной акции на купонном сайте. Для того, чтобы посмотреть историю, потребовалось указать адрес электронной почты.

Так как я сразу подозревал, чем это закончится, я ввёл свой старый неиспользуемый ящик на mail.ru. Написал и забыл. Когда же я через полгода проверил этот ящик, результат превзошёл все мои самые смелые ожидания. В цепких лапах купонщиков мой заброшенный ящик зажил своей бурной жизнью. Теперь с помощью этого ящика можно проследить, куда и как в дальнейшем перемещался мой адрес.

Здравствуйте уважаемые коллеги!

Хочу рассказать о занятном случае, принесшем неделю проблем в работе с электронной почтой нашей компании, да видимо не только.
За долгие годы работы в IT я навидался много. И ламеров, дающих налево-направо «умные» советы с авторитетным видом и реальных специалистов, живущих по принципу: я все знаю, но никому не скажу. Всякие есть люди. Но по-моему, главная черта человека разумного именно разумность, то есть способность применять разум. Тавтология, конечно, но именно об этом речь.
Все началось с того, что 22 марта одна из наших сотрудниц пожаловалась на то, что ее письма не доходят до адресата. Пользователи у нас в меру грамотные, поэтому жалобу она подкрепила отбойником от Mail Delivery System квинт-эссенцией содержания которого было:

host xxx.xxx.su[1.2.3.4] said: 550 5.7.0 Your
server IP address is in the SpamHaus SBL-XBL database, bye (in reply to
RCPT TO command)


Я зарегистрирован, наверное, на нескольких сотнях сайтов в сети. Но раздражают мой почтовый ящик, в основном, сайты из рунета.

В 99% писем от западных сайтов в футере письма есть ссылка «unsubscribe». В рунете эта очень правильная традиция почему-то пока не сложилась. И людям приходится проходить сложные квесты или составлять списки ссылок для отписки, чтобы как-то решить проблему мусора в почтовом ящике.

Давайте все вместе поможем этой традиции сформироваться.

24-летний анонимный спамер построил многотысячный суточный заработок, используя новую социальную сеть Pinterest.

Как пишет The Daily Dot, парень, который назвал себя Стивом, использует сеть спам-ботов, которые привязаны к его аффиллиат аккаунту на Amazon. По его словам, раньше он зарабатывал спамом через Facebook и Twitter, однако несколько месяцев тому открыл для себя Pinterest и понял, что он позволяет заработать на спаме гораздо больше.

Были когда-то славные времена бесплатных доменов .org.ru и иже. И завёл я себе тогда несколько доменов. Регулярно, каждый год мой ящик заваливался уведомлениями об окончании регистрации, тестировании DNS (о каждом пинге — отдельно) и чём только не, но, так как домены были бесплатные, вроде как и потерпеть можно. Но халява кончается, и домены внезапно стали платными. Так как к тому времени у меня были нормальные домены в .ru, то мне не было никакого дела до всяких РуЦентров и их доменов третьего уровня по цене второго.

Однако теперь каждый месяц приходят письма с заголовком «дайте денег срок регистрации заканчивается». Когда осталось совсем немного, я обрадовался — спам наконец-то прекратится! Не тут-то было: письма стали слать каждый день, удалять надоедало.

Решил как честный гражданин зайти на их сайт и удалить в чёртовой бабушке все домены. Меня ждал сюрприз: такой кнопки не предусмотрено. Намылил им. Получил ответ.

Что такое «черный список» в Интернет, рассказывать нет необходимости — мы давно уже знаем о функциональностях, реализованных, к примеру, в различных почтовых сервисах, и предназначенных когда-то для фильтрации спама, а также входящей почты от нежелательных пользователей. Со временем, правда, почтовые сервисы научились автоматически фильтровать спам, и необходимость в «черных списках» практически исчезла. «Черные списки» работают во всех социальных сетях: мы можем занести в «черный список» любого пользователя и оградить себя от нежелательных сообщений, хотя проблему спама они тоже не решают.
Спам льётся не только в сеть Интернет, но и в мобильные телефоны — за последние годы появилось множество спаммеров, рассылающих абонентам надоедливые рекламные или информационные SMS-сообщения. Условно их можно разделить на три группы:

• Спаммеры «из неоткуда», рассылающие сообщения рекламного характера о различных товарах и услугах;
• «Подписка» на спам. Компании, в которых абоненты уже совершали покупки (или пользовались их услугами) и предоставили им свой номер телефона (например, нередко для получения дисконтной карты магазин просит указать номер вашего мобильного телефона);
• Собственно, сам оператор, у которого обслуживается абонент — рассылает рекламную информацию о новых услугах и тарифах.

Как правило, такие SMS-сообщения в качестве отправителя имеют либо короткий цифровой номер, либо алфавитный номер, состоящий из латинских букв.
Но спам не всегда можно получить только лишь в виде SMS, иногда представители компаний сами звонят из колл-центра и предлагают воспользоваться их услугами. Чаще всего это — банки, предлагающие уже одобренные кредиты или кредитные карты по «специальным выгодным условиям» только для вас и только в течение ограниченного времени.
Избавиться от SMS-спама было довольно проблематично, не говоря уже о звонках, но выход, казалось, был найден: относительно недавно появилась новая услуга «Черный список» у самих операторов сотовой связи. Кроме того, уже давно существовали и мобильные приложения, реализованные в настоящее время практически для всех платформ смартфонов. Что же выбрать? Давайте рассмотрим, что предлагают операторы и как работают мобильные приложения.

Привет, хабраюзер!
Ты любишь спам? Думаю, что нет! И уверен, что руководство компании биглион тоже его не любит, но оно любит деньги, поэтому продает своих клиентов другим купонным клубам, чтобы ты им принес прибыль хотя бы своим емейлом! Как говорится, «… хоть шерсти клок»

Это долго ускользало от моего внимания, но уже нет сил это терпеть. Да здравствует эпоха социального спама!

И сразу же пример. Если вы ищете какой-либо фильм в какой-либо соц. сети, то велика возможность нарваться на подобное:

В продолжение темы, я решил поделиться своим опытом борьбы с ботами.

Однако, в отличие от предыдущего поста, я решил обратиться к сторонним сервисам.

1. Немного про сам проект

Mail.UA — украинский веб-сервис электронной почты. Долгое время проект находился в стадии разработки и бета-тестирования, но уже с лета 2010 года регистрация на сервисе свободная и, в отличие от других подобных сервисов, весьма простая: заполнить нужно всего 3 поля.
Понятно, что в наличии имеется вся обычная функциональность веб-мейла. Среди особенностей сервиса можно отметить:

• Быстрый desktop-like веб-интерфейс. Конечно, AJAX-ом сейчас никого не удивишь, но в случае с Mail.UA интерфейс все-таки заслуживает отдельного упоминания.
• Возможность создания неограниченного количества дополнительных (временных) email адресов к своему основному почтовому ящику (подбробнее об этом ниже).
• Система антиспама, основанная на принципе «белого списка».

Эта статья, собственно, о последней особенности, т.к. она вызывает наибольшее количество споров и неоднозначных оценок.

Хорошая новость для всех, кроме, разве что, очень одиноких людей: 22 сентября 2011 года Комиссия Московского УФАС России признала ЗАО «АКАДО-Столица» нарушившим ч. 1 ст. 18 ФЗ «О рекламе» и оштрафовала провайдера на 300 тысяч рублей.

Незаконной была признана практика звонить с рекламными сообщениями на номера абонентов без предварительного их согласия. То есть, проще говоря, «Акадо» занималось телефонным спамом. Напомню, что год назад рекламу «Акадо» уже признавали незаконной, но, по всей видимости, это их не остановило. (Мне, например, оператор «Акадо» звонил буквально пару недель назад.) Как видим, решение суда и лучи ненависти от абонентов на них не подействовали, поэтому теперь им придётся выплатить штраф.

Осталось дождаться аналогичного решения в адрес МГТС, Ростелекома и остальных.

UPD «Акадо» всё равно продолжает звонить.

Все началось из того, что я захотел вести свой блог. Как старательный программист, я поставил на комментирование простую капчу для предотвращения спама. Но не тут то было… Капчу взломали… Дважды… Тогда я вышел из себя и решил отключить комментирование, до момента принятия какого-то решения.

Заглянув под кат, я уверен, вы оцените его оригинальность.

Система Rspamd разрабатывается как основная система фильтрации спама в Рамблер-Почте. Однако же, изначально я планировал сделать систему, которая бы не уступала по возможностям, гибкости и качеству работы Spamassassin'а, однако была бы лишена основных его недостатков: чрезмерного использования регулярных выражений, слабой оптимизацией и общей задумчивостью работы, а также сравнительно неточной статистикой. Так созрела идея rspamd — системы, ядро которой было бы оптимизированно для фильтрации большого потока писем, которая была бы легко расширяема и использовала бы более совершенные алгоритмы статистики. Ядро rspamd написано на Си и использует событийную модель обработки сообщений (основанную на libevent). Расширяется rspamd путем написания плагинов и правил на языке lua. Сам проект с самого основания был Open Source (под BSD лицензией) и сейчас расположен на bitbucket.

Рано или поздно это должно было случиться. В продаже у спамеров/сеошников появились пакеты плюсов Google +1. Например, на сайте Plussem.com (подразделение SEOShop.com) пакет 50 плюсов стоит $20, 250 — $70, а 2000 — $360. Конечно, цены слегка завышены, и в других местах можно купить плюсики с первого дня запуска социальной сети, но это не принципиально.

На сайте компании утверждается, что покупка +1 якобы «помогает вашему сайту продвинуться в результатах поиска, потому что вы показываете Google, что контент вашего сайта представляет ценность для реальных людей и не является спамерским». Другими словами, вы должны купить их спамерский SEO-пакет, чтобы доказать Google отсутствие спамерских методов раскрутки. Что ж, типичная логика SEO-оптимизаторов.

Существует множество способов распространения вредоносного спама во ВКонтакте. Но вредители не дремлют, в их головы приходят все больше интересных идей. И поддержка OAuth 2.0 платформой ВКонтакте оказалась как никак кстати. Мошенники научились пользоваться им для обхода страницы предупреждения о вредоносных сайтах.