Спам и антиспам

Сегодня у нас необычный материал – это перевод статьи про нелегальные автоматические обзвоны в США. Испокон веков находились люди, кто использовал технологии не во благо, а чтобы обманным путем нажиться на доверчивых гражданах. Современные телекоммуникации не исключение, спам или откровенные «разводы» могут настигнуть нас по СМС, в почте, по телефону. С телефонами стало еще веселее, так как сегодня существуют автоматические звонки (далее – робозвонки). Придуманные как легитимный и прозрачный способ информировать людей и делать доп.продажи, они очень полюбились аферистам; если нормальные робозвонки происходят по согласию сторон и сами клиентские номера телефонов получены легальным способом, то нелегальные звонки как минимум тревожат людей попусту, как максимум – крадут данные и деньги. Мы придумали Smartcalls.io, «корпорация добра» ваяет Google Duplex, и т.д. – высокотехнологичные инструменты приближают киберпанк со скоростью света, потому что скоро мы уже не сможем понимать, кто с нами говорит, робот или человек. В этом кроются большие возможности и таких же размеров неприятности. Наша компания категорически против любых незаконных действий и верит, что технологии должны помогать как бизнесу, так и клиентам на компромиссной основе. Увы, такие ценности разделяют не все, поэтому под катом вы узнаете про рекордный штраф за нелегальный обзвон, статистику по звонкам в США, инструменты борьбы с такими звонками и, конечно же, рекомендации, как себя вести. Потому что предупрежден – значит вооружен.

У разработчика, который впервые столкнулся с генерированием электронных писем, практически нет шансов написать приложение, которое будет делать это корректно. Около 40 % писем, генерируемых корпоративными приложениями, имеют те или иные нарушения стандартов, и, как следствие, проблемы с доставкой и отображением. На это есть причины: электронная почта технически гораздо сложнее, чем веб, работа почты регулируется несколькими сотнями стандартов и несчетным количеством общепринятых (и не очень) практик, а почтовые клиенты отличаются разнообразием и непредсказуемостью. Тестирование может заметно улучшить ситуацию, но материалов, посвященных тестированию почты, практически нет.

Почта Mail.Ru регулярно взаимодействует со своими пользователями посредством электронных писем. В нашем проекте все компоненты, отвечающие за генерирование писем, и даже единичные рассылки проходят обязательное тестирование. В этой статье мы поделимся своим опытом (и набитыми шишками).

• Какие бывают электронные письма
• Кто участвует в процессе тестирования и контроля
• Почтовое сообщение и почтовый транспорт
• Интерфейс почтовой инфраструктуры и границы тестируемого приложения
• Определение тестируемых параметров
• Типичная структура генерирующего приложения
• Что и когда тестировать
  
  1. Инфраструктура доставки
  2. Генерирующее приложение
  3. Структурный и вёрсточный шаблоны письма
• Базовые требования при проверке инфраструктуры
• Требования к авторизации
• Проверка генерирующего приложения
  
  • Требования к почтовым адресам
  • Требования к заголовкам писем
  • Требования к структуре письма
  • Требования к URI
  • Требования к вёрстке письма
• Проведение сплит-тестов

Привет! В этой статье я расскажу про байесовский классификатор, как один из вариантов фильтрации спам-писем. Пройдемся по теории, затем закрепим практикой, ну и в конце предоставлю свой набросок кода на мною обожаемом языке R. Буду стараться излагать максимально легкими выражениями и формулировками. Приступим!

Предисловие

На моем сервере крутится 2 отдельных домена. До истории с блокировками Роскомнадзора мы собирали трафик около 2000 посещений в сутки, а почтовый сервер отправлял в сутки около 200 писем на все популярные почтовые сервисы, в т.ч. Гугл и Яндекс. Все было здорово. Но как говорится в известном ролике: «Все было так хорошо, пока не пришел Навальный Роскомнадзор!

Теперь, когда нам удалось найти хостера, чьи IP адреса не попадают под блокировки государственной цензуры появилась другая проблема. Корпорация добра Гугл перестала дальше порога пускать нашего почтальона.

MX сервер google выбрасывает мою почту с примерно следующим сообщением: „Твое сообщение похоже на нежелательное, давай до свидания...“

В профильных сообществах email—маркетологов, на форумах, посвященных поддержке CMS, на конференциях — везде сейчас активно обсуждается проблема спам-атак, устойчивым вектором которых является инъекция текста в формы на сайтах. Такой способ используется для отправки спама, а также для проведения узконаправленных атак, парализующих работу с отдельными ящиками.

Кадр из фильма “Матрица” (1999)

На фоне возможностей современных смартфонов легко забыть, что мобильная связь — это очень старая технология. Одна только концепция передачи коротких текстовых сообщений была разработана более 30 лет назад. Если бы люди занялись созданием SMS в 2018 году, то, вероятно, не стали бы ограничивать одно сообщение 160 символами (в 7-битной кодировке).

Связь наследует не только ограничения, заложенные при создании. Многие ошибки, скрытые и явные, ждут своего часа годами, начиная с далекого мобильного прошлого. Со временем к ним добавляются новые аппаратные или программные недочёты. Современный смартфон — это своего рода «кремниевое творение Франкенштейна», компоненты которого создаются сторонними компаниями, чей код не полностью контролируют Apple и Google.

В таких условиях не удивляет, что один из самых главных недостатков современной связи (а также мобильных приложений и железа) — это наличие простых уязвимостей, приводящих к выводу из строя различных устройств. Достаточно нескольких символов, чтобы буквально погасить экран самого современного гаджета стоимостью более $1000. Год за годом уязвимость эксплуатируется вновь и вновь. И сегодня мы подробнее рассмотрим, как это происходит.

С телефонным спамом знакомы все, кто засветил свой номер в интернете, заполнил сомнительную анкету в офлайне или кому просто не повезло попасть в многочисленные базы. Сегодня мы расскажем читателям Хабрахабра о том, как с помощью отзывов пользователей и машинного обучения мы научили приложение Яндекс предупреждать о нежелательных звонках.



Звонки с незнакомых номеров – это всегда тяжелый выбор. Звонит ли это долгожданный курьер или очередной оператор с «уникальным» рекламным предложением? Для решения этой проблемы существуют мобильные приложения, которые работают на базе справочников известных организаций. Отчасти они решают проблему. Но наиболее агрессивные спамеры, сомнительные коллекторы и злоумышленники в такие базы не попадают. Что делать?

Перед тем, как рассказать о нашем проекте, я хочу рассказать Вам, кто такой я, Грант Джордан, и кто такой Кайл Вогт (Kyle Vogt), который работает на Justin.tv. Мы студенты Массачусетского Технологического института, у которых много свободного времени. И у нас есть множество интересных проектов, как например, устройство для взлома сейфов, которое позволяет открывать сейфы с наивысшей степенью защиты. Однако понять, почему мы занялись именно спамом, поможет ответ на вопрос: кем мы не являемся?

Мы не являемся экспертами биржевого рынка, спамерами или людьми, которые внезапно разбогатели, играя на бирже. Поэтому всё, что я буду говорить о биржевом рынке и о спаме, является взглядом извне, то есть опытом людей, не имеющим к этому непосредственного отношения. Когда мы стали этим заниматься, всё выглядело словно сквозь пузырьки от газировки, и поэтому проект отражает наш взгляд на вещи именно в то время. У нас было слишком мало информации, мы не представляли себе, как работает ботнет, как им управляют спамеры и каким образом они рассылают информацию на Ваш почтовый ящик.

Каждый раз, открывая Вашу почту, Вы находите там спам. Это советы, как увеличить размер пениса, или письма от «плохих» девочек из России, или уведомление, в котором бывший принц Нигерии сообщает, что сделал Вас наследником своих миллионов. Однако один вид спама привлекал внимание больше других – это был спам о фондовом рынке. Это были странные «подсказки», призывающие купить определённые акции, курс которых вот-вот подскочит «выше крыши». Как и большинство людей, я удалял этот спам, но однажды Кайл родил одну из самых глупых идей, которые я когда-либо встречал: «Должен же быть способ, который поможет нам отобрать часть денег этих самых спамеров»!

В этой статье хотелось бы рассмотреть нововведения Dnscrypt, на конкретном примере, который наверняка окажется для кого-то полезным.

Для тех, кто не знает, Dnscrypt — это уникальный протокол шифрования DNS-трафика. Он даёт возможность защитить DNS-коммуникации от перехватов и подмены, и к примеру, обойти блокировки реализуемые на уровне DNS-запросов.

Из основных возможностей новой версии, прежде всего, хочется отметить возможность коммуникации с сервером по протоколу TCP, что делает такой канал более стабильным и менее заметным.

В этой статье, воспользуемся этим преимуществом и для разнообразия/пользы ограничим доступ к рекламным доменам.

Каждый из нас не понаслышке знаком с проблемой огромной массы оповещений от магазинов, банков, автосалонов и прочих организаций, которая непрерывно валится по всем электронным и не очень электронным каналам. Мы привыкли звать это спамом, развили у себя рефлексы молниеносного удаления, настроили спам-фильтры или просто не замечаем такие сообщения. И мы смирились с тем, что найти среди них полезные сообщения практически невозможно.

Краткий пересказ: мы сделали программу, определяющую надежность новостей с точностью 95% (на валидационной выборке) при помощи машинного обучения и технологий обработки естественного языка. Скачать ее можно здесь. В условиях реальной действительности точность может оказаться несколько ниже, особенно по прошествии некоторого времени, так как каноны написания новостных статей будут меняться.

Глядя, как бурно развиваются машинное обучение и обработка естественного языка, я подумал: чем черт не шутит, может быть, мне удастся создать модель, которая выявляла бы новостной контент с недостоверной информацией, и тем самым хоть чуть-чуть сгладить катастрофические последствия, которые приносит сейчас распространение фейковых новостей.



С этим можно поспорить, но, на мой взгляд, самый сложный этап в создании собственной модели машинного обучения — сбор материалов для обучения. Когда я обучал модель для распознавания лиц, мне пришлось несколько дней собирать фотографии каждого из игроков лиги НБА в сезоне 2017/2018. Теперь же я и не подозревал, что мне придется провести погруженным в этот процесс несколько мучительных месяцев и столкнуться с очень неприятными и жуткими вещами, которые люди пытаются выдать за настоящие новости и надежную информацию.

Уже с год длится такая история: на телефон раз в месяц, а то и чаще, стали приходить СМС от Ростелекома. Не подделка. Но про деньги. Увы.

На первый раз я удивился, на второй изумился, на третий — позвонил в техподдержку (да-да, ту, где надо голосом сказать роботу, по поводу чего ты звонишь; слова «спам» и даже «счет» он в моём исполнении не осилил, ну да ладно, я и не ждал). Пообщался, понервничал, попрощался — сообщения как приходили, так и продолжили (и сейчас летят, что и подвигло меня написать этот пост).

Текст в СМС незамысловатый. Не буду мучить видом фотографии на своем телефоне, приведу на желтом «цитатном» хабравском фоне контент:

На ЛС 111111111111 выставлен счет №4 за ноябрь 2017г на сумму 200,00р. К оплате с учетом долга 300,00р.

(номер ЛС я тут забил единицами, потому что получал я сообщения про разные ЛС; суммы были тоже разные, так что, полагаю, сообщали мне про долги разных абонентов)

Договора у меня с РТ нет ни на что вообще, мобильный номер у меня давно, в общем, «ничто не предвещает беды», но СМС-дождь продолжается. Пару раз звонили грозными голосами (полагаю) сотрудники РТ, и вопрошали, когда я им деньги занесу, а то они в суд собрались. Узнавали в каждом случае, что номер мой, а договора у меня нет, задумывались, прощались…

Обратился к нам в компанию клиент, очередных горе разработчиков. Не могу мол понять, почему то сайт не работает. Хостинг вроде оплатил, домен продлен, что не так с сайтом совсем не знает.

После более подробной беседы, выяснилось:

• Аккаунт хостинга, на котором был расположен сайт, ранее был блокирован за рассылку спама.
• По словам клиента проблема решилась, когда он обратился к предыдущим разработчикам, они восстановили доступ и все снова стало работать как раньше.
• Какие именно манипуляции проводили разработчики он не знает, так как хостинг зарегистрирован не на него, а на какого то его друга, который и посоветовал ему этих ребят.
• Сайт снова не работает, но связаться с кем либо из тех кто устранял проблему в прошлый раз, на данный момент, он не может.

Нам стало интересно, что же там такое происходит с сайтом, что он уже второй раз выходит из строя. Мы попросили клиента связаться со своим другом, на которого оформлен хостинг и узнать у него доступы к панели управления, а сами связались со службой технической поддержки хостинга, для уточнения причин неработоспособности сайта.

Где оплата за работу?

Работаю я в компании которая занимается разработкой сайтов и их сопровождением, ну и прочими сопутствующими услугами. Работу свою мы ведем на территории РФ. За бугор не лезем потому как, тут тоже хватает работенки.

В один прекрасный день, нам на корпоративную почту приходит письмо, от жительницы Украины (любой другой страны), следующего содержания:

— Здравствуйте, в интернете вы набираете на работу копирайтеров. Я откликнулась на предложение от Юлии Якубенко. Сделала заказ, который получила, но не получила по нем ни оплаты ни ответа, хотя я его нашла на сайте в интернете. Как мне это понимать? Ваша фирма со всеми сотрудниками так поступает??? Прошу вас дать ответ на мое сообщение!


Разумеется никакую вакансию мы не размещали, тем более на Украинских сайтах фриланса (важный момент, что сайт был не Российский). Слегка удивившись такому письму и немного порассуждав на тему, а не очередной ли это спам и стоит ли на него отвечать, мы все же решили уточнить у девушки более подробную информацию по вакансии и работе в целом.

У каждого человека внутри должен быть встроенный автоматический детектор дерьма (Эрнест Хемингуэй, 1954)

В этот день почти пятьдесят лет назад в Национальную конвенцию учителей английского языка (Вашингтон D.C.) была доставлена необычная статья. Нейл Постман, американский писатель, педагог, теоретик медиа и критик культуры поднял тему о том, что главная задача учителей — это научить детей противостоять влиянию бесполезной и ложной информации.

28 ноября 1969 года

Отрывок из статьи:

Я вижу это так: лучшее, что могут сделать школы для детей, — это научить их отличать полезную информацию от бесполезной. Думаю, что все серьезные люди понимают, что около 90% того, что дают в школе, оказывается бесполезным.

Нейронные сети глубокого обучения достигли больших успехов в распознавании образов. В тоже время текстовые капчи до сих пор используются в некоторых известных сервисах бесплатной электронной почты. Интересно смогут ли нейронные сети глубоко обучения справится с задачей распознавания текстовой капчи? Если да то как?

Не так давно прописывала записи DKIM, DMARC и SPF для своего домена. Это оказалось сложнее, чем я думала, потому что мне не удалось нигде найти полный синтаксис всех этих записей. Тогда вместе с Яной Лыновой мы собрали материал. Фактически, эта статья дополняет несколько статей с Хабра (внизу вы найдете ссылки).

Для того, чтобы прописать необходимые записи, нам нужен доступ к DNS. DNS расшифровывается как Domain Name System. Обычно доступ к DNS в компании имеют системные администраторы или, на крайний случай, программисты. Для них вы должны написать ТЗ, по которому они смогут добавить записи в DNS.

Итак, что же такое DKIM?

DKIM (Domain Keys Identified Mail) — это цифровая подпись, которая подтверждает подлинность отправителя и гарантирует целостность доставленного письма. Подпись добавляется в служебные заголовки письма и незаметна для пользователя. DKIM хранит 2 ключа шифрования — открытый и закрытый. С помощью закрытого ключа формируются заголовки для всей исходящей почты, а открытый ключ как раз добавляется в DNS записи в виде TXT файла.

Проверка DKIM происходит автоматически на стороне получателя. Если домен в письме не авторизован для отправки сообщений, то письмо может быть помечено подозрительным или помещено в спам, в зависимости от политики получателя.

Недавно мы разместили в свободном доступе бесплатный образец Пользовательского соглашения для сайта. Теперь хотим рассказать, как на его основе легализовать новостную рассылку пользователям.

Каждый из нас сталкивается с проблемой СПАМа. Согласитесь, неприятно получать рассылку из неизвестных источников. С другой стороны, любой владелец сайта задавался вопросом, как донести сообщение до пользователя, минуя СПАМ-фильтры и корзину.

Помимо этого рассылки пользователям могут нарушать законодательство. Отметим минимум две проблемы:

1. Закон «О рекламе» запрещает распространение рекламы по сетям электросвязи, в том числе Интернет при отсутствии предварительного согласия абонента или адресата на получение рекламы (ч.1 ст.18 ФЗ-38).
2. Закон «О персональных данных» требует получение согласия субъекта персональных данных на обработку его персональных данных и регистрацию в Роскомнадзоре в качестве оператора персональных данных (п.1 ч.1 ст.6 и ч.1 ст.22 ФЗ-152).

Об ответственности за рассылку информация ниже, а сейчас о простом способе выкинуть страхи из головы и заняться делом.

Что такое аутентификация электронной почты?

На протяжении большей части последних 40 лет пользователям приходилось совершать прыжок веры каждый раз, когда они открывали электронную почту. Считаете ли вы, что письмо действительно приходит от того, кто указан в графе отправителя? Большинство легко ответит «да» и на самом деле очень удивится, узнав как легко подделать электронную почту почти от любого отправителя.

При создании Интернета изначально не было разработано никакой возможности проверить личность отправителя. Во время разработки основных протоколов электронной почты, затраты на вычислительную мощность, реализацию и простоту использования были уравновешены с риском мошенничества. Тяжело было предположить, что 84% всей электронной почты в будущем будут иметь вредоносную нагрузку и являться фишингом или спамом.

Результатом является то, что заголовки писем, включая поля «From: » и «Reply-to: », очень легко подделать. В некоторых случаях это так же просто, как набрать «john@company.com» в поле «From: ». Объединив это с неподозрительным содержанием, убедительной графикой и форматированием, вполне возможно обмануть людей, подумавших, что сообщение в их почтовом ящике действительно пришло от банка, ФНС, руководителя или президента США.



Приняв во внимание повсеместное распространение электронной почты, вы осознаете основу нашего нынешнего кризиса информационной безопасности. Слабость в электронной почте привела к массе фишинговых атак, направленных на то, чтобы заставить людей нажимать на вредоносные ссылки, загружать и открывать вредоносные файлы, отправлять форму W-2 (аналог 2-НДФЛ в США) или переводить средства на счета преступников.