Спам и антиспам

В США набирает обороты технология аутентификации абонентов — протокол SHAKEN/STIR. Поговорим о принципах его работы и потенциальных сложностях внедрения.

Изучая свежую волну спама в России, мы обратили внимание на другую атаку. С середины января 2019 года известная кампания “Love you” доработана и перенацелена на Японию, где используется для распространения шифратора GandCrab 5.1.


По данным телеметрии, последняя версия “Love you” запущена 28 января 2019 года, ее активность примерно вдвое превысила первоначальную (см. график ниже). Как и в середине января, с помощью спама распространяется набор вредоносных полезных нагрузок с некоторыми обновлениями. Так, мы видели попытки загрузки криптомайнера, ПО для изменения системных настроек, вредоносного загрузчика, червя Phorpiex, а также шифратора GandCrab версии 5.1.

В январе 2019 года мы зафиксировали резкий рост числа обнаружений вредоносных почтовых вложений JavaScript (в 2018 году данный вектор атаки использовался минимально). В «новогоднем выпуске» можно выделить рассылку на русском языке, предназначенную для распространения шифратора Shade (он же Troldesh), который детектируется продуктами ESET как Win32/Filecoder.Shade.

Похоже, что эта атака продолжает спам-кампанию по распространению шифратора Shade, обнаруженную в октябре 2018 года.

Реклама в интернете — страшно противоречивый вопрос. Она бесит, навязывается, лезет отовсюду, ее вообще не хочется видеть больше никогда в своей жизни. Но пропадет реклама, пропадут и те вещи, за которые мы любим интернет.

С появлением блокировщиков рекламы, перессорились, кажется, вообще все. Одни говорят, что ходить на хорошие сайты с включенным адблоком — это почти как пиратство. Законом не запрещено, но морально недопустимо. Другие говорят, что издатели сами все портят своей жадностью и баннерами под каждым абзацем. Третьи говорят, адблоки убивают бесплатный контент, четвертые — что адблоки держат рекламщиков в ежовых рукавицах и не дают наглеть.

Это большой спор, где каждый вроде прав, пока не становится совсем категоричным. Между молотом и наковальней в нем оказались сами создатели блокировщиков. Мы с fillpackart поговорили c Беном Уильямсом, директором Adblock Plus и постарались узнать, как они справляются с моральными противоречиями и почему занимают все более центристскую позицию.

Доброго времени суток, Хабр.


Есть несколько способов бороться со спамными звонками на мобильный телефон, но бывают такие ситуации, когда это практически невозможно. Я расскажу свой случай о систематических звонках со скрытого номера.

Ленни – это телефонный чат-бот десятилетней давности, созданный для троллинга торговцев по телефону, у которого в онлайне появился целый культ. Он удивительно убедителен, но эффективен ли он на самом деле?

Если вам кажется, что количество рекламных звонков за последние несколько лет возросло – вам это не кажется. Согласно газете New York Times, количество автоматических и мошеннических звонков [в США] только за последний год увеличилось на треть и составило 3,4 млрд звонков в месяц. Всплеск телемаркетинга даже заставил Федеральную комиссию по связи США (FCC) выпустить новые правила, которые позволяют телекомам блокировать некоторые автоматические звонки. На заседаниях конгресса законодатели США несколько раз обсуждали эту проблему и представили 12 различных законопроектов, призванных обуздать злоупотребление телемаркетингом.

Сегодня утром я в очередной раз просматривал иностранную прессу, шагал по ссылкам и читал новости. И в очередной раз я нарвался на требование оформить платную подписку на Wired, чтобы продолжить чтение. А потом на еще одном ресурсе. И на еще одном. Везде ситуация одинакова: у меня закончились бесплатные прочтения в этом месяце, хотя не сказать, чтобы я активно серфил и потреблял иностранные новости. Так, ограничиваюсь каналом addmeto в телеге да еще парой источников, если речь идет о развлечении.

Три-четыре года назад я постоянно закусывался в комментариях на тогда еще существовавшем GT с сектантами адблока, которые с гордостью вещали «я блочу все, что могу. Ибо нефиг!». Вещали они это громко, с выражением (которое было видно даже в печатном тексте), а таких как я, осторожно спрашивающих «А как будет жить журналистика без рекламодателей?», клеймили «продажными корпоративщиками» и отвечали, что мол-де «качественный контент всегда выплывет на любви аудитории».

Так вот немного поразмыслив сегодня утром над ситуацией, я осознал, что тот жуткий день, наступление которого я ждал еще с 2013-2014 годов, настал: мы, пользователи, убили бесплатный доступ к качественному контенту. Своими собственными руками. И все стремится к тому, что мы вовсе «пристрелим» концепцию бесплатного интернета. Пост будет небольшим, пятничным и посвященным исключительно тому, что мы натворили. С открытой концовкой, само собой.

Сегодня у нас необычный материал – это перевод статьи про нелегальные автоматические обзвоны в США. Испокон веков находились люди, кто использовал технологии не во благо, а чтобы обманным путем нажиться на доверчивых гражданах. Современные телекоммуникации не исключение, спам или откровенные «разводы» могут настигнуть нас по СМС, в почте, по телефону. С телефонами стало еще веселее, так как сегодня существуют автоматические звонки (далее – робозвонки). Придуманные как легитимный и прозрачный способ информировать людей и делать доп.продажи, они очень полюбились аферистам; если нормальные робозвонки происходят по согласию сторон и сами клиентские номера телефонов получены легальным способом, то нелегальные звонки как минимум тревожат людей попусту, как максимум – крадут данные и деньги. Мы придумали Smartcalls.io, «корпорация добра» ваяет Google Duplex, и т.д. – высокотехнологичные инструменты приближают киберпанк со скоростью света, потому что скоро мы уже не сможем понимать, кто с нами говорит, робот или человек. В этом кроются большие возможности и таких же размеров неприятности. Наша компания категорически против любых незаконных действий и верит, что технологии должны помогать как бизнесу, так и клиентам на компромиссной основе. Увы, такие ценности разделяют не все, поэтому под катом вы узнаете про рекордный штраф за нелегальный обзвон, статистику по звонкам в США, инструменты борьбы с такими звонками и, конечно же, рекомендации, как себя вести. Потому что предупрежден – значит вооружен.

У разработчика, который впервые столкнулся с генерированием электронных писем, практически нет шансов написать приложение, которое будет делать это корректно. Около 40 % писем, генерируемых корпоративными приложениями, имеют те или иные нарушения стандартов, и, как следствие, проблемы с доставкой и отображением. На это есть причины: электронная почта технически гораздо сложнее, чем веб, работа почты регулируется несколькими сотнями стандартов и несчетным количеством общепринятых (и не очень) практик, а почтовые клиенты отличаются разнообразием и непредсказуемостью. Тестирование может заметно улучшить ситуацию, но материалов, посвященных тестированию почты, практически нет.

Почта Mail.Ru регулярно взаимодействует со своими пользователями посредством электронных писем. В нашем проекте все компоненты, отвечающие за генерирование писем, и даже единичные рассылки проходят обязательное тестирование. В этой статье мы поделимся своим опытом (и набитыми шишками).

• Какие бывают электронные письма
• Кто участвует в процессе тестирования и контроля
• Почтовое сообщение и почтовый транспорт
• Интерфейс почтовой инфраструктуры и границы тестируемого приложения
• Определение тестируемых параметров
• Типичная структура генерирующего приложения
• Что и когда тестировать
  
  1. Инфраструктура доставки
  2. Генерирующее приложение
  3. Структурный и вёрсточный шаблоны письма
• Базовые требования при проверке инфраструктуры
• Требования к авторизации
• Проверка генерирующего приложения
  
  • Требования к почтовым адресам
  • Требования к заголовкам писем
  • Требования к структуре письма
  • Требования к URI
  • Требования к вёрстке письма
• Проведение сплит-тестов

Привет! В этой статье я расскажу про байесовский классификатор, как один из вариантов фильтрации спам-писем. Пройдемся по теории, затем закрепим практикой, ну и в конце предоставлю свой набросок кода на мною обожаемом языке R. Буду стараться излагать максимально легкими выражениями и формулировками. Приступим!

Предисловие

На моем сервере крутится 2 отдельных домена. До истории с блокировками Роскомнадзора мы собирали трафик около 2000 посещений в сутки, а почтовый сервер отправлял в сутки около 200 писем на все популярные почтовые сервисы, в т.ч. Гугл и Яндекс. Все было здорово. Но как говорится в известном ролике: «Все было так хорошо, пока не пришел Навальный Роскомнадзор!

Теперь, когда нам удалось найти хостера, чьи IP адреса не попадают под блокировки государственной цензуры появилась другая проблема. Корпорация добра Гугл перестала дальше порога пускать нашего почтальона.

MX сервер google выбрасывает мою почту с примерно следующим сообщением: „Твое сообщение похоже на нежелательное, давай до свидания...“

В профильных сообществах email—маркетологов, на форумах, посвященных поддержке CMS, на конференциях — везде сейчас активно обсуждается проблема спам-атак, устойчивым вектором которых является инъекция текста в формы на сайтах. Такой способ используется для отправки спама, а также для проведения узконаправленных атак, парализующих работу с отдельными ящиками.

Кадр из фильма “Матрица” (1999)

На фоне возможностей современных смартфонов легко забыть, что мобильная связь — это очень старая технология. Одна только концепция передачи коротких текстовых сообщений была разработана более 30 лет назад. Если бы люди занялись созданием SMS в 2018 году, то, вероятно, не стали бы ограничивать одно сообщение 160 символами (в 7-битной кодировке).

Связь наследует не только ограничения, заложенные при создании. Многие ошибки, скрытые и явные, ждут своего часа годами, начиная с далекого мобильного прошлого. Со временем к ним добавляются новые аппаратные или программные недочёты. Современный смартфон — это своего рода «кремниевое творение Франкенштейна», компоненты которого создаются сторонними компаниями, чей код не полностью контролируют Apple и Google.

В таких условиях не удивляет, что один из самых главных недостатков современной связи (а также мобильных приложений и железа) — это наличие простых уязвимостей, приводящих к выводу из строя различных устройств. Достаточно нескольких символов, чтобы буквально погасить экран самого современного гаджета стоимостью более $1000. Год за годом уязвимость эксплуатируется вновь и вновь. И сегодня мы подробнее рассмотрим, как это происходит.

С телефонным спамом знакомы все, кто засветил свой номер в интернете, заполнил сомнительную анкету в офлайне или кому просто не повезло попасть в многочисленные базы. Сегодня мы расскажем читателям Хабрахабра о том, как с помощью отзывов пользователей и машинного обучения мы научили приложение Яндекс предупреждать о нежелательных звонках.



Звонки с незнакомых номеров – это всегда тяжелый выбор. Звонит ли это долгожданный курьер или очередной оператор с «уникальным» рекламным предложением? Для решения этой проблемы существуют мобильные приложения, которые работают на базе справочников известных организаций. Отчасти они решают проблему. Но наиболее агрессивные спамеры, сомнительные коллекторы и злоумышленники в такие базы не попадают. Что делать?

Перед тем, как рассказать о нашем проекте, я хочу рассказать Вам, кто такой я, Грант Джордан, и кто такой Кайл Вогт (Kyle Vogt), который работает на Justin.tv. Мы студенты Массачусетского Технологического института, у которых много свободного времени. И у нас есть множество интересных проектов, как например, устройство для взлома сейфов, которое позволяет открывать сейфы с наивысшей степенью защиты. Однако понять, почему мы занялись именно спамом, поможет ответ на вопрос: кем мы не являемся?

Мы не являемся экспертами биржевого рынка, спамерами или людьми, которые внезапно разбогатели, играя на бирже. Поэтому всё, что я буду говорить о биржевом рынке и о спаме, является взглядом извне, то есть опытом людей, не имеющим к этому непосредственного отношения. Когда мы стали этим заниматься, всё выглядело словно сквозь пузырьки от газировки, и поэтому проект отражает наш взгляд на вещи именно в то время. У нас было слишком мало информации, мы не представляли себе, как работает ботнет, как им управляют спамеры и каким образом они рассылают информацию на Ваш почтовый ящик.

Каждый раз, открывая Вашу почту, Вы находите там спам. Это советы, как увеличить размер пениса, или письма от «плохих» девочек из России, или уведомление, в котором бывший принц Нигерии сообщает, что сделал Вас наследником своих миллионов. Однако один вид спама привлекал внимание больше других – это был спам о фондовом рынке. Это были странные «подсказки», призывающие купить определённые акции, курс которых вот-вот подскочит «выше крыши». Как и большинство людей, я удалял этот спам, но однажды Кайл родил одну из самых глупых идей, которые я когда-либо встречал: «Должен же быть способ, который поможет нам отобрать часть денег этих самых спамеров»!

В этой статье хотелось бы рассмотреть нововведения Dnscrypt, на конкретном примере, который наверняка окажется для кого-то полезным.

Для тех, кто не знает, Dnscrypt — это уникальный протокол шифрования DNS-трафика. Он даёт возможность защитить DNS-коммуникации от перехватов и подмены, и к примеру, обойти блокировки реализуемые на уровне DNS-запросов.

Из основных возможностей новой версии, прежде всего, хочется отметить возможность коммуникации с сервером по протоколу TCP, что делает такой канал более стабильным и менее заметным.

В этой статье, воспользуемся этим преимуществом и для разнообразия/пользы ограничим доступ к рекламным доменам.

Каждый из нас не понаслышке знаком с проблемой огромной массы оповещений от магазинов, банков, автосалонов и прочих организаций, которая непрерывно валится по всем электронным и не очень электронным каналам. Мы привыкли звать это спамом, развили у себя рефлексы молниеносного удаления, настроили спам-фильтры или просто не замечаем такие сообщения. И мы смирились с тем, что найти среди них полезные сообщения практически невозможно.

Краткий пересказ: мы сделали программу, определяющую надежность новостей с точностью 95% (на валидационной выборке) при помощи машинного обучения и технологий обработки естественного языка. Скачать ее можно здесь. В условиях реальной действительности точность может оказаться несколько ниже, особенно по прошествии некоторого времени, так как каноны написания новостных статей будут меняться.

Глядя, как бурно развиваются машинное обучение и обработка естественного языка, я подумал: чем черт не шутит, может быть, мне удастся создать модель, которая выявляла бы новостной контент с недостоверной информацией, и тем самым хоть чуть-чуть сгладить катастрофические последствия, которые приносит сейчас распространение фейковых новостей.



С этим можно поспорить, но, на мой взгляд, самый сложный этап в создании собственной модели машинного обучения — сбор материалов для обучения. Когда я обучал модель для распознавания лиц, мне пришлось несколько дней собирать фотографии каждого из игроков лиги НБА в сезоне 2017/2018. Теперь же я и не подозревал, что мне придется провести погруженным в этот процесс несколько мучительных месяцев и столкнуться с очень неприятными и жуткими вещами, которые люди пытаются выдать за настоящие новости и надежную информацию.