Спам и антиспам

Сегодня, в блоге компании Pravo.ru появился любопытный топик о том, как надо вести себя компаниям, собравшимся открывать Интернет-ресурсы, которым придётся работать с персональными данными клиентов. Поэтому, по просьбам трудящихся, выложу свою историю со стороны рядового пользователя, который решил проверить свои права в деле.

Вообще не секрет, что многие технологические новинки до России доходят с изрядной задержкой. Это касается почти всего — от мобильных гаджетов и компьютерных игр до автомобилей. Причины таких задержек самые разные, но выражаются они не только в нехватке этих самых новинок, но и медленной реакции законодательства на изменения технического прогресса. Касательно темы поста, это выражается в законах, регламентирующих порядок обработки персональных данных пользователя. Заграницей, в государствах Западной Европы, Северной Америки и ряда других развитых стран мира законы в разной степени регулируют обработку данных с середины 80-х, начала 90-х годов, но в России подвижки по этому вопросу начались только на рубеже XX-XXI века, что вылилось в принятие федерального закона «О персональных данных». В чём его значение для рядового гражданина? Значение в том, что он способен защитить права и свободы человека при обработке его личных данных.

Форумный движок phpBB обладает большим количеством достоинств, он удобен и для пользователей и для модераторов и, как следствие, очень популярен. Но именно популярность порождает его главный недостаток — его спамят, причем спамят в автоматическом режиме. Через некоторое время постоянный поток регистраций новых фейковых пользователей и спам сообщений от них может порядком поистрепать нервы администрации сайта.

PhpBB версии 3.* в базовой поставке содержит аж 4 варианта каптчи, которые можно предлагать пользователям при регистрации на форуме. Есть даже recaptcha, однако для автосабмиттеров, как показывает практика, это не помеха.

Эти программы знают как выглядят типовые точки входа на страницы регистрации различных форумных движков. Знание это основано на распознавании DOM-моделей вебстраниц, содержащих формы для регистрации новых пользователей, для постинга сообщений и так далее. То есть, например, в случае phpBB робот знает, что точка входа для регистрации находится по адресу /ucp.php?mode=register и что на этой странице есть кнопка вида:

Все хорошо знают о позавчерашнем (24 января 2011 года) террористическом акте в аэропорту Домодедово. Правда, все мы на Хабрахабре о нём, следуя айтишной направленности Хабрахабра, до сих пор почти ни единым словом не упоминали — и правильно делали!… — однако теперь на свет Божий выплыла такая история, которая айтишностью своею вполне заслуживает некоторое право быть упомянутою и на Хабрахабре.¹

Оказывается, почти совершенно такой же мрачный и кровавый ужас мог состояться и раньше — в ночь на первое января. У террористов всё было готово. Ужé снаряжённым было взрывное устройство. Ужé электрически подключили к нему мобильный телефон, через который должен был поступить сигнал, чтобы дистанционно подорвать взрывчатку и летящими осколками грубо отобрать жизни и здоровье у десятков москвичей на Манежной площади…

Как же были нарушены планы человекоубийц? Случайно. Простой, бесхитростный SMS-спам, поздравляющий с новым 2011-м годом, непредвиденно пришедший и на этот мобильник в ряду из тысяч других таких же мобильников, внезапно подал досрочный приказ о взрыве и разметал неудачливую террористку в кровавую кашу по всему её логову. Шокированные всем случившимся, сообщники её поспешили ретироваться до приезда спецслужб. Но дом этот был ужé «засвечен», и арендаторка его спецслужбами позднéе схвачена в отдалённом Волгограде.

Читая эту историю, можно ли веровать, что под Рождество не случается добрых чудес?…

Но всё это не значит, господа, что со спамом не нужно бороться. Или что в борьбе с терроризмом можно полагаться только на чудеса.

Начало истории

Почитал тут статеек ваших, решил присоединиться к вам и рассказать историю, как я боролся со спамом.
Дело было в январе 2010 года. Начали приходить письма с просьбой помочь девочке для сбора крови. Ну и разослать всем по списку. Прилагался номер телефона. Набираю его в поиске. Обнаруживаю стопку сообщений, при этом текст одинаковый, а имена разные. И где-то требуется кровь, где то деньги на операцию. В общем, решил я сообщить в МВД. Зашёл на сайт, расписал, как получил сообщение, какой номер телефона, список сайтов, на которых висит объявление. Да и подзабыл это дело, как то. Написал исключительно, чтоб со спокойной душою говорить «Они просто не хотят», а то все говорят. И получил ответ, из которого следует, что тут как бы нет нарушения закона. Все отправляют деньги добровольно, а то что нет больного, простите, сами думайте. Вы лично деньги не отправили, поэтому не пострадали.

Бывший маркетолог из Сан-Франциско Дэниель Бэлсэм (Daniel Balsam) говорит, что ненавидит спам. По крайней мере, так он назвал свой сайт (Danhatesspam.com). Но на самом деле он, наверное, единственный человек в мире, который как ребёнок радуется каждому новому спамерскому письму, попавшему в его почтовый ящик. Точнее, в один из сотен его почтовых ящиков.

Дело в том, что Дэниель Бэлсэм с 2002 года зарабатывает на жизнь исключительно антиспамерской деятельностью. Главная статья доходов — компенсация по судебным искам, которых он с 2002 года выиграл 42 штуки. Ещё больше исков сейчас находятся в производстве и являются гарантией безбедного существования Дэна на ближайшие годы.

  amavisd-new является достаточно широко распространенным продуктом для кормления с рук spamassassin-а и clamav-а. Не смотря на это, некоторые возможности настройки освещены явно недостаточно. По крайней мере, автор уже раздумывал про написание собственной заплатки, пока случайно не наткнулся в коде на хук Amavis::Custom.
  Началось всё с того, что потребовалось пропускать все проверки в amavisd. Это просто сделать при известном отправителе либо получателе или разделяя по банкам на основе портов. Задача становится менее тривиальной если сигналом служит какой-либо заголовок уже принятого для проверки электронного сообщения. Вот тут-то (и в массе других случаев) в дело вступает Amavis::Custom

О чем пойдет речь

Наверное никогда не прекратятся бои людей желающих проставить свои ссылки или что-то порекламировать, с людьми не желающими видеть у себя в комментах или на форумах «левую рекламу» а иногда даже и «правую».

Как человек, который в прошлом потратил много времени на разработку средств для спама веб-формы. Я хотел бы остановиться на моментах, которые упускают многие авторы, агитируя за тот или иной метод защиты.

Неоднократно на разных ресурсах поднимались подобные темы, но все статьи, которые попадались мне на глаза, были написаны людьми, находящимися по другую сторону баррикад.

Здравствуйте.

Хочу поделиться своим небольшим опытом прикручивания DKIM (DomainKeys Identified Mail) к своему домену и почтовому серверу.

Мы имеем:

• Платформа: Windows WebServer 2008;
• Сервер DNS: Bind 9.7;
• Почтовый сервер: hMailServer 5.3.3.

Задача:

• Разобраться в системе подписи сообщений DKIM, что бы gmail признал её валидной и выдал заветные: dkim=pass.

28 сентября Верховный суд Квебека одобрил решение американского суда нижней инстанции и утвердил вердикт: житель Монреаля Адам Гуэрбес должен заплатить по 100 американских долларов компенсации за каждое из 4 366 386 спамерских сообщений, которые он разослал на сайте Facebook в период с марта по апрель 2008 года. С учётом штрафных санкций и обменного курса общая сумма выплат составит 1 068 928 721,46 канадских долларов ($873 млн). Вдобавок ему пожизненно запрещено заводить аккаунт на Facebook.

«Профессионал в области онлайн-маркетинга», как он себя называет, Гуэрбес заявил, что с трудом насобирает такую сумму и собирается подать заявление на банкротство.

В любой системе где есть общение пользователей будет существовать проблема анти спама. Рассмотрим построение системы на примере комментирования к какой-нибудь блог записи и др. Не будем использовать принудительную регистрацию и капчи. Будем использовать Систему баллов (Points System)

Мне часто приходит русскоязычный ICQ-спам, хотя в информации нет ни единой русской буквы, указана Танзания, и аська — шестизнак из первой тыcячи.
Сообщение:

Запрос авторизации:
Все виды противопожарных работ. Решение вопросов любой сложности в органах гос.пож.надзора. Тел. 34596<wipe>, Щекалёв Игорь Владимирович. г. Екатеринбург

Только что я позвонил ему по Skype, спросил как относится к ICQ-спаму, и сказал что это некрасиво и т.д. Игорь Владимирович стал неумело бычить и спрашивать кто я такой буду и кого я представляю. После этого я разъяснил, что сам я из Москвы, и мне в *** не впился его гос. пож. надзор. И если он будет продолжать это делать — я запущу программу которая будет ему дозваниваться, слать на… и класть трубку, и так раз за разом. Человек переменился, сказал что это не он, а его компьютерщики наемные, которым он еще и за это деньги платит по результатам рекламы. Я тоже переключил тон на более доброжелательный, и рассказал ему что его обманывают, и эффективность нулевая… посоветовал обратиться в Google и Яндекс за контекстной рекламой. Мило пообщались и попрощались.

Результат — здорово поднятое настроение, спасенный лемминг, и избавленные от данного СПАМа люди.

Советую всем повторить скромный мой опыт! Также можно поэкспериментировать с программами по изменению голоса.

Лозунг примерно такой: «Это операция СПАМ или кипячение! Вы всё еще спамите? Тогда мы звоним к вам!»

Леонид Куваев, занимающий второе место в списке самых злостных спамеров интернета (по версии Spamhaus.org), попал за решётку. К сожалению, российские правоохранительные органы так и не смогли вменить ему спамерскую деятельность (хотя информация о Леониде циркулировала с 2006 года), а взяли его по статье 134, никак не связанной со спамом.

Однако, осведомлённые источники утверждают, что сидеть «король спама» будет долго. Его уголовное дело № 378243 сейчас ожидает рассмотрения в суде. Слушания начнутся осенью. Куваев находится под арестом с декабря 2009 года.

В Иркутске 10 Июня 2010 года прошла IT-конференция «Байкальский Интернет Форум 2010» ( http://bif2010.ru/conf2010/).

Вроде бы все хорошо, все круто, приехали разные дяди из Мегаплана, Ru-центра и т.п.
Но вот прошло некоторе время, и на почту (указанную при регистрации на конференцию) свалилось письмо, что я вдруг ни с того ни с сего зарегистрирован на megaplan.ru. Причем не один я, а куча народу, регистрировавшихся на БИФ.
Под катом текст письма + ответ от Медведев Групп:

Несколько дней назад компания HP объявила, что готовит к выпуску новую линейку принтеров, каждый из которых сразу будет поставлять со своим уникальным адресом электронной почты, а все полученные письма на этот адрес могут автоматически распечатываться.

Таким образом, вы (или кто-то другой) можете запросто отправлять документы на печать со своего iPhone, смартфона под Android, планшета iPad или любого другого устройства, подключённого к интернету. Разумеется, принтер тоже должен быть в режиме онлайн.

Документы на печать нужно отправлять в виде аттачментов (принтер понимает разные форматы, в том числе PDF, JPG и форматы MS Word). Только нужно внимательно следить, чтобы заветный адрес не попал к спамерам, иначе вам наверняка придётся пополнять запасы самой дорогой жидкости на планете.

Можно представить спам будущего: полноцветные картинки формата А4 с рекламой цветных картриджей.

Хочу поведать об истории приключившейся со мной(и не только со мной) буквально вчера вечером.

Когда-то я курил сигареты Richmond с вишневым ароматом, по той простой и банальной причине, что они мне нравились(Капитан Очевидность в восторге от этого предложения). Внутри пачек с этими сигаретами были вкладыши с номерками. Долгое время я не обращал на них внимания…

В топике про тыренье вандов у людей я сказал, что в самих вандах может быть список валидных почтовых адресов, которые можно использовать для спама, но выгоднее использовать встроенный поиск MailAgent’а. В этот раз я решил проверить насколько легко их оттуда достать.
Итак, как все, наверное, знают, у МейлРу есть своя сеть для обмена мгновенными сообщениями, которая состоит из пользователей главного сервиса компании — почты. А МейлРу на данный момент стандарт де факто в выборе почты (хотя многие сейчас мигрируют в gmail.com). Другими словами, у этой компании сейчас самое большое количество рабочих адресов, не считая, быть может, Контакта.

В чём, собственно, суть проблемы: для авторизации в качестве логина и уникального идентификатора используется почтовый адрес пользователя. Так как в протоколе присутствует функция поиска контактов (что вполне логично), а в выдаче есть адрес, то спокойно можно сделать граббер валидных почтовых адресов. И даже больше — можно делать поиск по критериям (возраст, страна, пол) и находится ли контакт онлайн. По умолчанию в mAgent’е включена функция оповещения пользователя при получении нового письма на почтовый ящик. Что в результате имеем? Ищем людей из определённой целевой аудитории онлайн, отправляем им спам, они даже получат извещение о новом письме и вполне вероятно его прочитают.

Честные спаммеры — это те негодяи, к которым мы привыкли: от увеличения пениса до установки небогоугодных антивирусов, писаных непонятно кем и, в большинстве случаев, понятно зачем. Семь из десяти самых злостных спаммеров по версии SpamHaus на 12 апреля — граждане (или бывшие граждане) России и Украины. Так уж получилось, но это не тема текущего топика.

Нечестные спаммеры — это дважды негодяи, которых найти совсем нетрудно: на примере американского Victorias Secret и русского SoftKey.ru.

Недавно начали приходить странные письма с просьбой о компьютерной помощи. После ответа на одно письмо (отвечал, пытаясь помочь, ибо любопытно было :) приходит следующее. Человека этого я не знаю, никогда о нём не слышал и понятия не имею кто он. Имя и фамилия адресата всё время одни и те же, адреса почты разные. Поражает стиль писем. И если первое можно было бы присопособить с натяжкой на попытку вытянуть пароль, то остальные и рядом не стоят с этим. Письма, очевидно, связаны, причём не компьютером, а человеком. Вопрос к хабрасообществу: «А у вас такое было? Спам, развод или НЛО? В чём изюминка?» Любопытство уже замучало, прошу помощи, заранее спасибо :)

При борьбе со спамом на форуме возникла идея автоматически отлавливать слова, внешне похожие на «нормальные», но фактически отличающиеся от шаблонных, имеющихся в базе стоп-слов. Делается это путём замены кириллических символом на латиницу и наоборот. Например, «Пpoдaeм бeтoн» и «Продаем бетон» только внешне выглядят одинаково, а на самом деле они отличаются друг от друга.
Вот я и написал небольшую функцию для уменьшения энтропии Вселенной, которая определяет (если сможет) язык, на котором написано слово, и заменяет его на нормальное. Затем проверяем это слово по списку стоп-слов и принимаем решение, запрещённое оно или нет :)

(Красным цветом помечается кириллица, синим- латиница или цифры)

Сегодня мне пришло письмо с жалобой от постоянного пользователя небольшого форума, который я администрирую:

Здравствуйте, на Вашем форуме мне периодически приходит спам в ЛС (личные сообщения).

Казалось бы, обычное дело. Некоторое количество спама в личную почту пользователям изредка приходило и до этого момента. Но в этот раз количество отправленных сообщений, судя по отчетам, было велико, и я перешел к решительным мерам. И был немало удивлен: оказывается, мне уже «помогли» в борьбе со спамом!