Спам и антиспам

Ни для кого не секрет, что почтовая служба Gmail является лучшей в своем роде сервисом. Фильтрация писем происходит очень точно. Пользователи этого сервиса давно забыли о таком страшном слове как «Спам».

Среди корпоративного сектора очень актуальна проблема большого количества спам-писем. Для борьбы с данной проблемой приходится приходить к очень неоднозначным мерам. В сети достаточно информации, собрав которую воедино, можно получить неплохой спам-фильтр. В данном же случае, я постараюсь описать процесс обучения всеми известного SpamAssassin средствами сервиса Gmail. В итоге мы получим идентичное поведение самого SpamAssassin на письма, как если бы они приходили к вам на Gmail.

Доброго времени суток, Хабр!

Часто появляется проблема, когда письмо с вашего нового или малоиспользуемого домена первоначально получает метку «спам» или «нежелательная почта», и падает в соответствующую папку, где его просто не замечают. И речь идет не о рассылках, а о деловых и не очень письмах, но отправленных людьми. С такой проблемой столкнулся я.

Поиск показал, что наша конфигурация не включает в себя использование DKIM подписи, необходимость которой начинает подниматься на обязательный уровень. Но загвоздка была в том, что в качестве MTA используется MS Exchange Edge в связке c Forefront Protection, который не умеет работать с DKIM, а установка впереди другого MTA, например postfix, сулило отказом от Forefront DNS-BL, перенастройкой SSL/TLS, и дальнейшим усложнением конфигурации. И да простят меня, но, как Windows админу, мне заниматься всем этим очень не хотелось.

Начались поиски других решений, т.к. Microsoft свято верит в достаточность SPF-записи, то даже в 2013 редакции Exchange поддержки DKIM подписи нет, и в будущих дополнениях не планируется. Поначалу были найдены только платные DkimX и EmailArchitect, но далее наткнулся на бесплатный модуль Exchange DKIM Signer от Stefan “Pro” Profanter, про его использование и пойдет речь.

Рене Бертанья (Rene Bertagna) — владелец ресторана Serbian Crown неподалёку от Вашингтона. Точнее, бывший владелец. В апреле 2014 года ему пришлось закрыть бизнес. В банкротстве он обвиняет не кого-нибудь, а картографический сервис Google Maps. Бизнесмен даже подал иск против Google в федеральный суд Виргинии.

Я не ошибусь, если скажу, что всем ужасно надоел sms-спам. Да, для многих компаний это источник клиентов, но это не оправдывает «серых» методов рекламы. А про sms-мошенничество «мама, пришли денег, потеряла телефон» и говорить не приходится.
На хабре было уже много статей о борьбе с sms-спамом, но, по-моему, жалобы на конкретную компанию или телефон сродни просеиванию воды через сито. Зато, как мне кажется, этот вопрос относительно легко могли бы решить мобильные операторы. Под катом описание идеи-предложения к нашей большой тройке, а также любым другим sms-шлюзам.

Эта фраза неизменно вызывает улыбки у окружающих, имеющих обыкновение прислушиваться к телефонным разговорам. Сперва: «Здравствуйте, расскажите мне о вашем замечательном предложении». Потом: «Ага,… ага,… ага..». И финал: «Меня это не интересует, я позвонил просто, чтобы потратить ваше время. Поскольку вы тратите моё, прислав мне СМС».

Вот уже два года учёный Сирил Лаббе (Cyril Labbé) из университета Гренобля (Франция) исследует сборники публикаций крупнейших научных издательств и составляет список «фальшивых» научных статей, составленных при помощи генераторов научных текстов.

Как оказалось, троллинг научной прессы — явление более массовое, чем можно было предполагать. На его работу уже обратили внимание сами издательства — и начали постепенно удалять «фейковые» статьи из архивов и сборников по результатам научных конференций. Так, немецкий Springer и американская IEEE к настоящему моменту удалили более 120 научных статей за 2008-2013 годы.

Логическое продолжение постов «Как избавиться от SMS-спама» и «RosSpam.org или как пожаловаться на SMS-спам в пару кликов»
UPD Добавлено решение краевого УФАС против рекламораспространителя. Краткая выжимка — погрозили пальчиком не заказчику рекламы(макулатурщику), а конторе, которая непосредственно рассылала смс.

Мне, как наверно и любому хабраюзеру, регулярно приходят sms-сообщения рекламного характера, в которых продвигают некие услуги. Стоит отметить, что сейчас речь пойдет о «настоящих» рекламных рассылках, а не о информационных сообщениях от оператора сотовой связи или от вашего банка/провайдера.
22 октября 2013 мне пришла очередная рекламная sms, звонок в эту фирму с просьбой пояснить, как я оказался в списке рассылки, результата не дал, и я решил обратиться в ФАС (Федеральную антимонопольную службу).

Регулярно натыкаюсь на статьи про прикручивание к почтовикам антиспамовских систем (например spamassassin и подобных). Каждый раз, смотря на эти связки и кучу проблем которые они приносят, «пожимаю плечами» и искренно не понимаю зачем все это? Спам можно очень эффективно рубить непосредственно силами почтовика, без привлечения сторонних программ, некоторые из которых еще и требуют длительного обучения (насколько я знаю, но могу и ошибаться — не использую я их).

Метод отлова спама, который я опишу в этой статье, дает эффективность, примерно 97%. Он опробован на 10-ке серверов, и работает уже как минимум лет семь.

Что такое DKIM и как оно работает

DKIM (расшифровывается как DomainKeys Identified Mail) — метод идентификации письма по доменным ключам.
DKIM настраивается на почтовом сервере для того, чтобы подписывать исходящие письма цифровой подписью. Наличие такой подписи в заголовке отправленного письма сообщает серверу-получателю, что оно действительно было отправлено с указанного домена.
Известно, что в СПАМ-письмах часто в поле From: ставят е-mail, не имеющий совершенно никакого отношения к отправителю. В этом случае DKIM поможет распознать реальное письмо от спама. В отличие от других методов цифровой подписи письма, DKIM совместим с существующими форматами и протоколами и может быть плавно интегрирован в имеющиеся системы доставки и получения почты.

Подпись письма происходит на SMTP-сервере с помощью секретного ключа (Private key), а расшифровка подписи происходит на сервере-получателе или клиентской программе с помощью публичного ключа (Public key). Что интересно, публичный ключ хранится в DNS, что позволяет убить сразу двух зайцев. Во-первых, нет необходимости прикладывать Public key с каждым письмом для его расшифровки. А во-вторых, в таком случае DKIM позволяет сообщать серверам-получателям что делать с письмом, которое не имеет цифровой подписи, но якобы отправлено от вас. Эта технология называется ADSP (Author Domain Signing Practices). ADSP также хранится в DNS SMTP-сервера и доступен всем и отовсюду.

Всем доброй хабранедели!
Итак, цель статьи: рассказ о том, как автоматически разбирать входящую почту с примерами обработки.
Попутно: как я считерил и выиграл аж 8 из 10 комплектов планшетов у DX и сдался китайцам.

Итак, цель номер ноль: научиться разбирать инкам методами, отличными от «зайти по POP/IMAP раз в минуту».
Я решил, что helloWorld это не так интересно, тем более на глаза попалась лотерейка от DX (dx.com/newsletters).
Вкратце работает она так:
0. Вводим email на страничке подписки (HTTP POST)
1. На него приходит ссылка для подтверждения email
2. Проходим по ссылке
3. Если email зарегистрирован впервые, получаем на email lucky number, который и участвует в розыгрыше

Внимательный читатель уже понял суть довольно простого «финта ушами», но цель статьи в практических мелочах.

 

В конце 2011 года разработчики проекта dkim-milter прекратили его поддержку и разработку. К счастью, на замену проекта dkim-milter пришел OpenDKIM, с помощью которого добавить DKIM-подпись в письма так же просто.

Предисловие

Все знают, что такое электронная почта. Также все знают что же такое спам. Мировые объемы спама достигают 140 миллиардов сообщений ежедневно и такое огромное количество спама просто не позволяет более-менее эффективно использовать почту без какой-либо системы фильтрации нежелательной почты. При том один из самых важных факторов остается недопущение ошибок.

За долгое время было перелопачено много систем антиспама и как-то все не удовлетворяли в полной мере потребность. Но однажды предложили рассмотреть ironport от компании Cisco. Изначально я отнесся скептически, посчитал, что западная железка, да ещё и без байесового фильтра не сможет эффективно отсеивать русский спам, к тому же не допуская ошибок. Ну и цена! По расспросам людей в дружеской беседе, мне называли совершенно разные цифры, которые доходили до миллионов рублей. Это пугало, мало кто захочет отдавать такие деньги за фильтрацию всего лишь нежелательного контента. К тому же в интернете, к моему удивлению, совсем мало информации по этой системе. Даже в википедии только скудная статья на английском, а на русском совсем и нет ничего. И так, что же из себя представляет ironport и почему я его буду рекомендовать для почтовых систем среднего бизнеса и выше, я попробую ответить здесь.

Типичная картина:

Менее 60 писем из 10000 достигают адресата.

Эта замечательная история началась в декабре прошлого года, когда жена спросила моего совета по поводу одной интересной акции на купонном сайте. Для того, чтобы посмотреть историю, потребовалось указать адрес электронной почты.

Так как я сразу подозревал, чем это закончится, я ввёл свой старый неиспользуемый ящик на mail.ru. Написал и забыл. Когда же я через полгода проверил этот ящик, результат превзошёл все мои самые смелые ожидания. В цепких лапах купонщиков мой заброшенный ящик зажил своей бурной жизнью. Теперь с помощью этого ящика можно проследить, куда и как в дальнейшем перемещался мой адрес.

Здравствуйте уважаемые коллеги!

Хочу рассказать о занятном случае, принесшем неделю проблем в работе с электронной почтой нашей компании, да видимо не только.
За долгие годы работы в IT я навидался много. И ламеров, дающих налево-направо «умные» советы с авторитетным видом и реальных специалистов, живущих по принципу: я все знаю, но никому не скажу. Всякие есть люди. Но по-моему, главная черта человека разумного именно разумность, то есть способность применять разум. Тавтология, конечно, но именно об этом речь.
Все началось с того, что 22 марта одна из наших сотрудниц пожаловалась на то, что ее письма не доходят до адресата. Пользователи у нас в меру грамотные, поэтому жалобу она подкрепила отбойником от Mail Delivery System квинт-эссенцией содержания которого было:

host xxx.xxx.su[1.2.3.4] said: 550 5.7.0 Your
server IP address is in the SpamHaus SBL-XBL database, bye (in reply to
RCPT TO command)


Я зарегистрирован, наверное, на нескольких сотнях сайтов в сети. Но раздражают мой почтовый ящик, в основном, сайты из рунета.

В 99% писем от западных сайтов в футере письма есть ссылка «unsubscribe». В рунете эта очень правильная традиция почему-то пока не сложилась. И людям приходится проходить сложные квесты или составлять списки ссылок для отписки, чтобы как-то решить проблему мусора в почтовом ящике.

Давайте все вместе поможем этой традиции сформироваться.

24-летний анонимный спамер построил многотысячный суточный заработок, используя новую социальную сеть Pinterest.

Как пишет The Daily Dot, парень, который назвал себя Стивом, использует сеть спам-ботов, которые привязаны к его аффиллиат аккаунту на Amazon. По его словам, раньше он зарабатывал спамом через Facebook и Twitter, однако несколько месяцев тому открыл для себя Pinterest и понял, что он позволяет заработать на спаме гораздо больше.

Были когда-то славные времена бесплатных доменов .org.ru и иже. И завёл я себе тогда несколько доменов. Регулярно, каждый год мой ящик заваливался уведомлениями об окончании регистрации, тестировании DNS (о каждом пинге — отдельно) и чём только не, но, так как домены были бесплатные, вроде как и потерпеть можно. Но халява кончается, и домены внезапно стали платными. Так как к тому времени у меня были нормальные домены в .ru, то мне не было никакого дела до всяких РуЦентров и их доменов третьего уровня по цене второго.

Однако теперь каждый месяц приходят письма с заголовком «дайте денег срок регистрации заканчивается». Когда осталось совсем немного, я обрадовался — спам наконец-то прекратится! Не тут-то было: письма стали слать каждый день, удалять надоедало.

Решил как честный гражданин зайти на их сайт и удалить в чёртовой бабушке все домены. Меня ждал сюрприз: такой кнопки не предусмотрено. Намылил им. Получил ответ.

Что такое «черный список» в Интернет, рассказывать нет необходимости — мы давно уже знаем о функциональностях, реализованных, к примеру, в различных почтовых сервисах, и предназначенных когда-то для фильтрации спама, а также входящей почты от нежелательных пользователей. Со временем, правда, почтовые сервисы научились автоматически фильтровать спам, и необходимость в «черных списках» практически исчезла. «Черные списки» работают во всех социальных сетях: мы можем занести в «черный список» любого пользователя и оградить себя от нежелательных сообщений, хотя проблему спама они тоже не решают.
Спам льётся не только в сеть Интернет, но и в мобильные телефоны — за последние годы появилось множество спаммеров, рассылающих абонентам надоедливые рекламные или информационные SMS-сообщения. Условно их можно разделить на три группы:

• Спаммеры «из неоткуда», рассылающие сообщения рекламного характера о различных товарах и услугах;
• «Подписка» на спам. Компании, в которых абоненты уже совершали покупки (или пользовались их услугами) и предоставили им свой номер телефона (например, нередко для получения дисконтной карты магазин просит указать номер вашего мобильного телефона);
• Собственно, сам оператор, у которого обслуживается абонент — рассылает рекламную информацию о новых услугах и тарифах.

Как правило, такие SMS-сообщения в качестве отправителя имеют либо короткий цифровой номер, либо алфавитный номер, состоящий из латинских букв.
Но спам не всегда можно получить только лишь в виде SMS, иногда представители компаний сами звонят из колл-центра и предлагают воспользоваться их услугами. Чаще всего это — банки, предлагающие уже одобренные кредиты или кредитные карты по «специальным выгодным условиям» только для вас и только в течение ограниченного времени.
Избавиться от SMS-спама было довольно проблематично, не говоря уже о звонках, но выход, казалось, был найден: относительно недавно появилась новая услуга «Черный список» у самих операторов сотовой связи. Кроме того, уже давно существовали и мобильные приложения, реализованные в настоящее время практически для всех платформ смартфонов. Что же выбрать? Давайте рассмотрим, что предлагают операторы и как работают мобильные приложения.

Привет, хабраюзер!
Ты любишь спам? Думаю, что нет! И уверен, что руководство компании биглион тоже его не любит, но оно любит деньги, поэтому продает своих клиентов другим купонным клубам, чтобы ты им принес прибыль хотя бы своим емейлом! Как говорится, «… хоть шерсти клок»