Изображение: Unsplash
На хабре да и вообще в интернете распространено мнение, что все, кто занимаются почтовыми рассылками от маркетологов до разработчиков соответствующих систем – поголовно спамеры, которые отправляют нежелательные письма.
Но на самом деле это далеко не так, и хороший сервис email-рассылок – это всегда элемент глобальной антиспам-системы, которая как раз защищает обычных пользователей от получения нежелательных писем.
Мы в DashaMail тоже много сил уделяем борьбе со спамом и разработали целый ряд инструментов, которые позволяют надежно фильтровать спам-рассылки, которые кто-то может попытаться отправить через наш сервис.
Автоматический скоринг
Начнем с описания автоматизированной системы, которая рассчитывает рейтинг надежности пользователей. Если отправитель признан заслуживающим доверия, то его сообщения отправляются сразу, а потенциальные нарушители проходят более строгие фильтры.
Алгоритм прост: каждому пользователю может быть присвоен рейтинг от 0 до 10. Группы надежности распределяются так:
- от 0 до 2 баллов – новички (newbie),
- от 3 до 5 баллов – продвинутые пользователи (fine),
- от 6 до 8 баллов – надежные пользователи (good),
- от 9 до 10 баллов – отправители с максимальным доверием (trust).
В зависимости от того, в какую группу попадает пользователь, его рассылки будут отправляться через определенный пул IP-адресов. То есть рассылки «хороших» клиентов отправляются только с адресов, которые используются для писем других надежных отправителей – это позволяет не портить репутацию друг друга в глазах почтовых сервисов.
И наоборот, «плохие» клиенты могут отправить свои письма только с адресов, которыми пользуются такие же потенциальные нарушители.
Как формируется рейтинг надежности
Поговорим о том, как можно улучшить или ухудшить свой рейтинг в рамках системы. За каждую успешную рассылку – то есть не заблокированную спам-фильтрами почтовых провайдеров – пользователь получает баллы. Но их можно и потерять. Вот какие факторы могут этому способствовать:
- Нажатия получателями писем кнопки “Спам”.
- Процент “жестких возвратов” превышает средние по системе.
- Высокий процент отписок, который превышает средний показатель в сервисе DashaMail.
Рассмотрим каждый пункт подробнее.
Нажатия кнопки «Спам»
Пользователи любой современной почтовой программы или сервиса сегодня могут сигнализировать о том, что получили спам. Соответствующие кнопки помогают обучать спам-фильтры этих почтовых провайдеров, но благодаря механизму FBL (Feedback Loop) эти данные можем получать и мы.
В Рунете чаще всего используется FBL от Mail.ru, который предоставляется в рамках сервиса Postmaster. Благодаря нему мы можем получать информацию о том, что определенный подписчик нажал кнопку «Спам» и отписывать его от рассылки. И конечно же, это явный сигнал о проблеме.
Понятно, что всегда существует вероятность ошибочных нажатий, иногда люди просто забывают о том, что подписывались на рассылку, в некоторых случаях просто нажимают кнопку из-за плохого настроения. Поэтому какой-то процент подобных нажатий мы разрешаем, но если он достаточно велик – это скажется на рейтинге отправителя.
«Жесткие возвраты»
Когда отправленное с наших IP-адресов письмо возвращается обратно с пометкой, вроде «Пользователь не существует», «Пользователь заблокирован», это жесткий возврат. Письмо по этому адресу не может быть доставлено в принципе.
Большое количество таких возвратов, превышающих средние значения, установленные почтовыми провайдерами – это явный сигнал, о высокой вероятности использования купленной, а не самостоятельно собранной базы подписчиков.
Здесь тоже нельзя рубить с плеча, потому что у email-баз могут быть разные задачи. Например, иногда адреса в единую базу собирают для последующей реактивации, то есть контактов с пользователями, которые когда-то давно пользовались вашими продуктами и услугами, или с бумажных анкет, где высокая вероятность ошибок и опечаток. В таком случае мы не блокируем аккаунт, но требуем предоставить подтверждения легитимности базы и рекомендуем предварительно вычистить базу с помощью встроенного в сервис email-валидатора.
Жалобы пользователей и отписки
Разумеется, все факторы, которые учитывают система, имеют свой вес. Конечно же, самые жесткие санкции – вплоть до обнуления рейтинга, могут быть наложены после прямых жалобах пользователей на спам в дата-центр, к нам или почтовому провайдеру.
В таком случае мы требуем от клиента предоставить доказательства легальности подписки, среди которых могут быть логи серверов, скриншоты баз данных, политики рассылки, с которыми согласился подписчик, заполненная им анкета и т.п. Если в течение 24 часов мы не получим требуемую информацию, то аккаунт отправителя рассылки будет заблокирован.
Учетная запись может быть заблокирована и на основании работы спам-фильтров почтовых провайдеров. При поступлении такой жалобы нужно будет предоставить доказательства легитимности рассылок и заполнить форму почтового провайдера. Если произошла ошибка, то рассылки будут разблокированы.
Кроме того, мы получает сигналы из SpamCop, CloudMark и других антиспам-систем, а также нашего IPS: мы обрабатываем все входящие сигналы, что позволяют быстро блокировать недобросовестных клиентов.
В целом, если все идет хорошо, клиент делает качественные рассылки, на которые почти не жалуются получатели, то всего нескольких отправок будет достаточно для получения класса good. В таком случае модерация рассылок будет происходить автоматически.
Анализ контента и адресных баз
Известно, что спам-фильтры почтовых провайдеров также анализируют содержание контента писем. Он также реализован и на нашей стороне на основе рейтинга SpamAsassin (который, безусловно, потребовал большой доработки и обучения в связи с использование кириллицы) и проверки на содержание стоп-слов. Подобный анализ используют и ведущие спам-фильтры Рунета, обладающие просто феноменальной базой паттернов спам-контента. Спамеры постоянно мимикрируют в своем поведении и внешнем виде под надежного отправителя, но ту самую ложку г*вна в бочке меда мы стараемся выявлять еще до отправки рассылки.
Мы также собираем различные “базы к продаже”, “лиды к продаже” и любые другие свободно и за деньги распространяемые адресные базы подписчиков. Это позволяет выявлять заведомо плохие адресные базы, собранные без согласия.
Ручная модерация
Да, у нас есть и такой способ борьбы со спамом. Пока пользователь системы не заслужил статус надежного, его рассылки будут модерироваться вручную.
Таким образом мы обнаруживаем нарушающий законы контент, и можем отправлять рассылки на доработку, чтобы они соответствовали всем требованиям по оформлению. Ручная модерация – достаточно ресурсоемкий процесс, ведь через DashaMail проходит до 1000 рассылок в день, но это и самый эффективный способ проверки. К тому же ручная модерация позволяет научить нового пользователя делать правильные письма и предупредить возникновение проблем с почтовыми провайдерами и доставкой.
Заключение
Как видно, мы, как разработчики сервиса рассылок, много внимания уделяем борьбе со спамом. Для этого мы создали целую комбинированную систему ручной и автоматической модерации рассылок. Это – наш вклад в дело защиты пользователей интернета от спама.
Чтобы быть в курсе современных тенденций email-маркетинга в России, получать полезные лайфхаки и наши материалы – подписывайтесь на страницу DashaMail в Facebook и читайте наш блог.
