Почему сервис email-маркетинга на самом деле борется со спамом, и как это устроено



    Изображение: Unsplash

    На хабре да и вообще в интернете распространено мнение, что все, кто занимаются почтовыми рассылками от маркетологов до разработчиков соответствующих систем – поголовно спамеры, которые отправляют нежелательные письма.

    Но на самом деле это далеко не так, и хороший сервис email-рассылок – это всегда элемент глобальной антиспам-системы, которая как раз защищает обычных пользователей от получения нежелательных писем.

    Мы в DashaMail тоже много сил уделяем борьбе со спамом и разработали целый ряд инструментов, которые позволяют надежно фильтровать спам-рассылки, которые кто-то может попытаться отправить через наш сервис.

    Автоматический скоринг


    Начнем с описания автоматизированной системы, которая рассчитывает рейтинг надежности пользователей. Если отправитель признан заслуживающим доверия, то его сообщения отправляются сразу, а потенциальные нарушители проходят более строгие фильтры.

    Алгоритм прост: каждому пользователю может быть присвоен рейтинг от 0 до 10. Группы надежности распределяются так:

    • от 0 до 2 баллов – новички (newbie),
    • от 3 до 5 баллов – продвинутые пользователи (fine),
    • от 6 до 8 баллов – надежные пользователи (good),
    • от 9 до 10 баллов – отправители с максимальным доверием (trust).

    В зависимости от того, в какую группу попадает пользователь, его рассылки будут отправляться через определенный пул IP-адресов. То есть рассылки «хороших» клиентов отправляются только с адресов, которые используются для писем других надежных отправителей – это позволяет не портить репутацию друг друга в глазах почтовых сервисов.

    И наоборот, «плохие» клиенты могут отправить свои письма только с адресов, которыми пользуются такие же потенциальные нарушители.

    Как формируется рейтинг надежности


    Поговорим о том, как можно улучшить или ухудшить свой рейтинг в рамках системы. За каждую успешную рассылку – то есть не заблокированную спам-фильтрами почтовых провайдеров – пользователь получает баллы. Но их можно и потерять. Вот какие факторы могут этому способствовать:

    • Нажатия получателями писем кнопки “Спам”.
    • Процент “жестких возвратов” превышает средние по системе.
    • Высокий процент отписок, который превышает средний показатель в сервисе DashaMail.

    Рассмотрим каждый пункт подробнее.

    Нажатия кнопки «Спам»


    Пользователи любой современной почтовой программы или сервиса сегодня могут сигнализировать о том, что получили спам. Соответствующие кнопки помогают обучать спам-фильтры этих почтовых провайдеров, но благодаря механизму FBL (Feedback Loop) эти данные можем получать и мы.

    В Рунете чаще всего используется FBL от Mail.ru, который предоставляется в рамках сервиса Postmaster. Благодаря нему мы можем получать информацию о том, что определенный подписчик нажал кнопку «Спам» и отписывать его от рассылки. И конечно же, это явный сигнал о проблеме.

    Понятно, что всегда существует вероятность ошибочных нажатий, иногда люди просто забывают о том, что подписывались на рассылку, в некоторых случаях просто нажимают кнопку из-за плохого настроения. Поэтому какой-то процент подобных нажатий мы разрешаем, но если он достаточно велик – это скажется на рейтинге отправителя.

    «Жесткие возвраты»


    Когда отправленное с наших IP-адресов письмо возвращается обратно с пометкой, вроде «Пользователь не существует», «Пользователь заблокирован», это жесткий возврат. Письмо по этому адресу не может быть доставлено в принципе.

    Большое количество таких возвратов, превышающих средние значения, установленные почтовыми провайдерами – это явный сигнал, о высокой вероятности использования купленной, а не самостоятельно собранной базы подписчиков.

    Здесь тоже нельзя рубить с плеча, потому что у email-баз могут быть разные задачи. Например, иногда адреса в единую базу собирают для последующей реактивации, то есть контактов с пользователями, которые когда-то давно пользовались вашими продуктами и услугами, или с бумажных анкет, где высокая вероятность ошибок и опечаток. В таком случае мы не блокируем аккаунт, но требуем предоставить подтверждения легитимности базы и рекомендуем предварительно вычистить базу с помощью встроенного в сервис email-валидатора.

    Жалобы пользователей и отписки


    Разумеется, все факторы, которые учитывают система, имеют свой вес. Конечно же, самые жесткие санкции – вплоть до обнуления рейтинга, могут быть наложены после прямых жалобах пользователей на спам в дата-центр, к нам или почтовому провайдеру.

    В таком случае мы требуем от клиента предоставить доказательства легальности подписки, среди которых могут быть логи серверов, скриншоты баз данных, политики рассылки, с которыми согласился подписчик, заполненная им анкета и т.п. Если в течение 24 часов мы не получим требуемую информацию, то аккаунт отправителя рассылки будет заблокирован.

    Учетная запись может быть заблокирована и на основании работы спам-фильтров почтовых провайдеров. При поступлении такой жалобы нужно будет предоставить доказательства легитимности рассылок и заполнить форму почтового провайдера. Если произошла ошибка, то рассылки будут разблокированы.

    Кроме того, мы получает сигналы из SpamCop, CloudMark и других антиспам-систем, а также нашего IPS: мы обрабатываем все входящие сигналы, что позволяют быстро блокировать недобросовестных клиентов.

    В целом, если все идет хорошо, клиент делает качественные рассылки, на которые почти не жалуются получатели, то всего нескольких отправок будет достаточно для получения класса good. В таком случае модерация рассылок будет происходить автоматически.

    Анализ контента и адресных баз


    Известно, что спам-фильтры почтовых провайдеров также анализируют содержание контента писем. Он также реализован и на нашей стороне на основе рейтинга SpamAsassin (который, безусловно, потребовал большой доработки и обучения в связи с использование кириллицы) и проверки на содержание стоп-слов. Подобный анализ используют и ведущие спам-фильтры Рунета, обладающие просто феноменальной базой паттернов спам-контента. Спамеры постоянно мимикрируют в своем поведении и внешнем виде под надежного отправителя, но ту самую ложку г*вна в бочке меда мы стараемся выявлять еще до отправки рассылки.

    Мы также собираем различные “базы к продаже”, “лиды к продаже” и любые другие свободно и за деньги распространяемые адресные базы подписчиков. Это позволяет выявлять заведомо плохие адресные базы, собранные без согласия.

    Ручная модерация


    Да, у нас есть и такой способ борьбы со спамом. Пока пользователь системы не заслужил статус надежного, его рассылки будут модерироваться вручную.

    Таким образом мы обнаруживаем нарушающий законы контент, и можем отправлять рассылки на доработку, чтобы они соответствовали всем требованиям по оформлению. Ручная модерация – достаточно ресурсоемкий процесс, ведь через DashaMail проходит до 1000 рассылок в день, но это и самый эффективный способ проверки. К тому же ручная модерация позволяет научить нового пользователя делать правильные письма и предупредить возникновение проблем с почтовыми провайдерами и доставкой.

    Заключение


    Как видно, мы, как разработчики сервиса рассылок, много внимания уделяем борьбе со спамом. Для этого мы создали целую комбинированную систему ручной и автоматической модерации рассылок. Это – наш вклад в дело защиты пользователей интернета от спама.

    Чтобы быть в курсе современных тенденций email-маркетинга в России, получать полезные лайфхаки и наши материалы – подписывайтесь на страницу DashaMail в Facebook и читайте наш блог.
    DashaMail. Про email-маркетинг и не только
    94,42
    Компания
    Поделиться публикацией

    Комментарии 6

      0
      А вы умеете отличать нажатие «отписаться» в интефейсе mail.ru от нажатия «спам» там же? Я помню истории, в которых мейлру рапортовал о спаме, когда пользователь честно нажал на кнопку отписаться на панели.
        0
        Но на самом деле это далеко не так, и хороший сервис email-рассылок – это всегда элемент глобальной антиспам-системы, которая как раз защищает обычных пользователей от получения нежелательных писем.
        С учетом возможности подмены адреса отправителя Ваша сентенция звучит… не совсем корректно.
        Заказав у Вас рассылку, условно, на 10-100-1000 клиентов я получу «белые-пушистые» адреса отправки. Что помешает после этого мне отбомбиться с этих «адресов» главным калибром по купленной на рынке емейл-базе?
        Известно, что спам-фильтры почтовых провайдеров также анализируют содержание контента писем
        Если даже и делают это то оочееень незаметно. Больше похоже на то что спам-фильтр почтовых провайдеров включается после нажатия кем-нить из пользователей кнопки «СПАМ».
        Когда отправленное с наших IP-адресов письмо возвращается обратно с пометкой, вроде «Пользователь не существует», «Пользователь заблокирован», это жесткий возврат
        Именно этот ответ идет по умолчанию со всех моих почтовых ящиков ))
        И наоборот, «плохие» клиенты могут отправить свои письма только с адресов, которыми пользуются такие же потенциальные нарушители.
        То есть у Вас все-таки есть подразделение/отдел который обслуживает конкретно спамеров?
          –1
          Что помешает после этого мне отбомбиться с этих «адресов» главным калибром по купленной на рынке емейл-базе?

          Если речь идёт об IP-адресах, то помешают протоколы TCP и SMTP, которые оба требуют двусторонней связи.


          Если речь идёт о почтовых адресах — то SPF, DKIM и DMARC.


          То есть у Вас все-таки есть подразделение/отдел который обслуживает конкретно спамеров?

          Если почитать статью хоть немного внимательно — будет видно, что обслуживает этот "отдел" не спамеров, а свежезарегестрированных пользователей, про которых ещё не известно спамеры они или нет.

            –1
            Если речь идёт о почтовых адресах — то SPF, DKIM и DMARC.
            Если рассылка касается рядовых граждан которые подписались на новости какой-либо фирмы, то и почту они будут получать «частным порядком». А на наших бесплатных почтовиках у пользователей нет защиты от спама, непонятно по какой причине в фильтрах отсутствует пункт «Received-SPF: pass».
            А так как фильтровать по теме и отправителю фактически невозможно, то приходим просто к «белому списку» пропускаемой почты.
              0

              Если у пользователей нет защиты от спама, то зачем спамеру в этой схеме вообще сервис рассылки?

                +1
                Наверное я сразу плохо объяснил ((
                Есть легальная служба рассылки, она направляет заинтересованным (подписавшимся) клиентам «письма щастя». Рассылка идет с адресов щасте1@email.xyz, щасте2@email.xyz, щасте3@email.xyz — у клиентов эти адреса в белых списках.
                Я, как спамер, получив знание об этой заветной тройке адресов начинаю подставлять их в своей рассылке. В результате клиент получает мой мусор или, психанув, блочит по адресу «щасте» и обламывает легального рассыльщика.

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое