Боремся с ручным спамом в блогах при помощи Parasite Eliminator (с 10 ноября сервис открыт для всех желающих)

[Aesma]

Ммм… интересно…
Читая статью с начала думал что вы «изобрели велосипед» сделав просто русский аналог Akismet, а оказалось что у вас оно вроде бы поинтересней реализовано. Думаю что у вашего проекта большое будущее, а с ним и у Российской блогосферы ;)

[Novikov]

Недостатки Akismet отчасти и вдохновили меня. У моего плагина есть важное преимущество — он помечает как спам только то, что заведомо спамерское. И еще, не зависит от чужого сервера, не тормозит, так как списки собираются локально в каждом блоге. И эти списки можно править. И еще два механизма фильтрации.

Но главное — в моих блогах действительно нет ручного спама (поначалу, правда, специально ломились, чтобы «показать неэффективность».)

[Novikov]

Кстати, в одном из блогов сразу после установки плагин выгреб более сотни спамерских комментариев.

А вот пример типичного убитого спамом комментирования:
ownthesite.ru/2008/05/11/wordpress-251-lecactus/#comments

[kabachok]

хоть от спама я и спасся, но протестю и этот плагинчик.
А конфликтовать с включенным Akismet не будет?

[Novikov]

Не знаю :) Я на всех блогах своих первым делом сносил Akismet ввиду тормозов и ложных срабатываний.

Мой плагин ничего не стирает, только помечает как спам комменты, содержащие спамерские ссылки. Разве что Akismet сам прибьет то, что отправлено на модерацию было.

[kabachok]

хы, поставил Ваш плагин, и у меня появился комментарий к последней записи, Ваших рук дело?

[Novikov]

Да :-)

[kabachok]

а, наверно у вас ведется база сайтов где установлен плагин?

[Novikov]

Не, базы нет, просто при обращении за обновлением мне идет referer. Таким образом, я могу видеть, какие версии плагина где стоят, и если вдруг (мало ли) появится критическая уявзимость — я смогу связаться с пользователями.

[kabachok]

по поводу Akismet, у меня он помоему ложно ниразу не срабатывал, спама отсеил порядка 1500 сообщений, но как только я поставил плагин Raven's Antispam спама в целом стало значительно меньше, пару сообщений в неделю

[hooey]

Я недавно писал про то, что и крупные организации занимаются спамом.

По-моему, нужно просто исключить поле URL в комментариях как класс. Зачем оно нужно? Если кто-то захочет дать линк на свой сайт, он его даст в поле письма. А втыкать его в каждый комментарий не нужно.

[Novikov]

Не нужно исключать это поле. Вот из-за спамеров подрывается одна из основ блогосферы. Это поле — для связей между интересными блогами, а не для спамерских ссылок. И теперь вот из-за мудаков-спамеров и поисковики снизили значимость ссылок с блогов, и народ вынужден отключать поле URL.

[hooey]

Такой вопрос: я добросовестный блоггер. Я прихожу в чей-нибудь блог и оставляю комментарий, указывая ссылку на свой блог.

Человек по ошибке принимает меня за спамера и помечает мой сайт как спамерский. Заодно из Яндекса благодаря вам вылетают два десятка зарегистрированных на меня же доменов, ни один из которых никогда не рекламировался спамом.

Какая защита от возникновения подобных ситуаций? Ведь здесь одно «ложное срабатывание» — смерти подобно.

[Novikov]

Тут защита многоступенчатая. Он может пометить вас как спамера, но при этом только для своего блога, локально. Он и так может ваши комментарии стереть у себя.

Если же ссылка приходит мне для добавления, я сперва ее ставлю на рассмотрение. Если это не явный дорвей, сплог и т.п., и есть сомнения — я ее не включаю в черный список.

И ссылки принимаются только от доверенных блоггеров. А у меня есть целая сеть «ловушек», куда идиоты-спамеры сами фигарят свои домены, думая, что всех перехитрили ;-)

Другие ваши домены никуда не вылетят, кстати. Ведь база спамеров — это база доменов, по которым спамят.

[hooey]

ОК, тогда другой вопрос. У меня блог/сайт с хорошим, качественным контентом. Я просто хочу новых читателей и больше тИЦ. Нанимаю тех же рассылателей ручного спама.

Вы по наводке идете проверять мой сайт, но обнаруживаете вполне интересный блог, СДЛ. Сайт идет в черный список или нет?

[kabachok]

)))
я бы отправил в черный список

[hooey]

1) Если в черный список, тогда как отличить добросовестных активных блоггеров, которые действительно просто рассылают много комментариев?

2) Если в белый список, то значит, ukr.net будет спокойно продолжать спамить в блогах? Ведь это крупнейший интернет-провайдер и портал.

[Novikov]

Прочитайте про новое отношение к полю «Ваш сайт».

Если коротко — то я предлагаю его расценивать не как вознаграждение комментатору, а как способ отправить автору блога свой блог для ознакомления. И, если автор блога сочтет нужным, то откроет ссылку для своих читателей через механизм «белого списка».

ukr.net — не блог, добросовестным блоггерам незачем его вставлять в комментарии. Так что, однозначно в газенваген.

[Novikov]

Ведь даже если это кто-то спамит против ukr.net — сам ukr.net ничего не потеряет. Ведь он блога не ведет, а если сам не спамил — так и не должен был появляться там в комментариях.

[Novikov]

Буду по ситуации смотреть. Не исключено, что таким образом и подставить пытаться будут.

[kabachok]

так это поле не обязательное, не хочешь — не заполняй

[mkdotam]

А если мой УРЛ это openID? То я просто не могу оставить коментарий как «зарегистрированный» пользователь.

[k48]

когда сделаю международную версию плагина

Могу бесплатно сделать вам перевод плагина/сайта. А в иностранных блогах вообще есть такая проблема?

[Novikov]

Есть у них и такая проблема. С международной версией там чуть посложнее, чем просто перевести. Надо переделать плагин под файлы локализации и т.п. За предложение благодарю, буду иметь в виду, когда придет пора :-)

[deerua]

не долго он «ламался», как по мне…

[Novikov]

Кто? :)

[deerua]

ну я там порно ссылочку запостил которую уже неспешно кикасснули
ну и так пару словечек добавил из простого набора :)

[Novikov]

Так плагин не от порноссылок и не от стоп-слов :-) Хотя, запросто можно будет доработать.

[Novikov]

Не минусуйте deerua

[Novikov]

Т.е. это я прошу присутствующих не минусовать deerua

[amonra]

Свой блог не веду, спамом не занимаюсь, но хотелось бы отметить очень хороший дизайн сайта parasite-eliminator.ru, а так же хороший юмор в текстах.
Приятно смотреть на такую работу)

P.S. единственное что — домен ваш запомнить просто нереально:) По крайней мере, для меня.

[Novikov]

Все целиком делал своими руками — от текстов и оформления до программирования и сбора базы :)

[ZEGO]

И красавица, и умница, и мастерица на все руки =)
В плане оформления порадовало отношение к типографике и безумно порадовала иконка «fuck off spamer» =) Вобщем молодец, как всегда (давно уже отсылаю заказсчиков за «где можно почитатать доступно на эту тему?» на микромаркетинг).

[adeptus]

Дизайн прикольный. А тексты злые какие-то.

[egorinsk]

Веселые)) Так и надо, мне нравится.

[nekt]

Звучит как минимум интересно. Протрезвею — буду пробовать ^__^

[metamorph]

Well done, commander.
Срочно приобретите оружие самообороны. У меня плохое предчувствие…

[Novikov]

Уже есть. Кстати, блогоспамеры зашевелились.

Добавили электронную почту Parasite Eliminator в скрипт, который сейчас проходится по куче разных форумов и регистрируется там, оставляя наше мыло. Ну да это не страшно. Ящиков я могу заводить сколько угодно, а почту с радостью принимают сервера и антиспамерские фильтры «Гугла».

Сейчас идет 2-3 письма в минуту. Такими темпами скоро у меня окажется вся их база уязвимых форумов. Вот и монетизация сервиса ;-)

И еще в статистике появились заходы с закрытых спамерских форумов.

[DrWeb]

ХА, так вы работаете аки почти что спамеры :)
Заспамили спамеров своим мылом в форумах

[Novikov]

Так это не мы, а спамеры добавили.

[DrWeb]

>>Добавили электронную почту Parasite Eliminator в скрипт, который сейчас проходится по куче разных форумов и регистрируется там, оставляя наше мыло

Я не имел в виду стопроцентного спамерского сходства…

Спамеры оставляют сообщения на форумах, чтобы потом поисковые системы их индексировали…
для этого они
1) автоматически регистрируются на форумах
2) оставляют спам-сообщения

Вы же скриптом нарегили экаунтов чтобы спамеры проиндексировали Вас :)

ЗЫ
Только не надо минусовать, это ж не в укор сказано, я просто сравнил (при чем не без юмора)

[Novikov]

Это не я нарегил, а спамеры :-) Чтобы забить мой ящик 1500 писем.

[Novikov]

Обновления есть уже несколько месяцев, там более 1000 доменов спамерских уже. Просто я, выкладывая ссылочку на запасной аэродром, опечатался. Но уже поправил, спасибо.

Установленные плагины же без проблем скачивают, что надо, я как раз отслеживаю работу ;-)

[DrWeb]

вот так канает: www.test.sp%61m :))

[Novikov]

А поисковым системам это проканает? :-)

В любом случае, спасибо за наводку ;-)

[DrWeb]

ну не знаю, проканает или нет (Надо подумать. Возможно даже, что да).
Задача была оставить комент с линком на определенный сайт :)

[Novikov]

У спамеров задача оставить комментарий с линком, который будет проиндексирован роботами.

[ruskar]

Вполне проканает. Как по вашему индексируются ссылки вида ru.wikipedia.org/wiki/Спам?

[DrWeb]

ну значит вариант, предложенный мною подходит :)
(пока автор не закрыл эту фишку)

Ситуация не в том, что он проиндексирует эту страничку, главное чтобы
количество проиндексированных адресов www.test.sp%61m добавляло рейтинга (ПР и ТИц) домену www.test.spam
я в этом не был уверен.

чтобы не было чего-то типа такого результата поиска:

www.test.spam — spam bla bla bla

www.test.sp%61m — spam bla bla bla

[eatart]

пожалуй стоит попробовать заменить akismet, хотя проблем у меня с ним пока не было

[ruskar]

А вы специально совместили чёрный день российских блогоспамеров с днём милиции?

[KuLiBiN]

Я решил проблему проще. Так как само содержание спамерского комментария вполне позитивно, я просто отключил подстановку ссылки под ником, теперь спамеры работают на меня =)

[Novikov]

Вряд ли информационный шум и тупая лесть, используемая спамерами, могут быть полезны и хороши для обычных читателей. Там, где прошлись спамеры, нормальные обсуждения не появляются.

[Kirax]

А обычные читатели разве всегда пишут умно и правильно?

[mkdotam]

Нет, но они «returning customers», в отличии от (: А не прилетело НЛО, написало: «Клевая статья, я как раз интересовался» под цитатой с Баша и исчезло на веки веков (: Такой комент впечатление производит феерическое (о;

[AlexNote]

Круто… Блог Миколки и мой собственный блог помечены как спаммерские. Оба — качественные блоги.

[Novikov]

убрал zybc и mikolka из списков

[nablerts]

а как они туда попали?

[Novikov]

Скорее всего, когда я зашел на их сайты, то не отличил от сплогов :) Так бывает.

[Novikov]

Но вот за весь период пока только 5 или 6 ложных внесения в блеклист из > 1000

[Novikov]

Он пометил alexnote.ru?

[yoreeq]

Огромное спасибо, пользуюсь ещё с тех закрытых тестовых версий, очень нравится этот плагин. Каюсь, уже думал, что больше не будет развиваться :(

[AlexNote]

Ага. Спасибо.
Я, кстати, в блоге у вас спросил, что делать, если кто-то решит подставить кого-то (были случаи) и начнет спамить от чужого имени? В акисмет есть возможность блоггерам вытаскивать из «спама» комменты, и впоследствии они будут и на сервере акисмета помечены как «не спам». А здесь нужно писать автору по каждому случаю, или наши локальные списки могут как-то использоваться?

[Novikov]

Тут есть несколько вещей:

1. Локально вы можете добавить все, с чем не согласны, в список исключений, но это будет, правда, только для каждого блога в отдельности.

2. Я сделаю механизм, который позволит при следующих обновлениях баз вытаскивать из спама ошибочно внесенные комментарии.

3. Пока нужно будет писать мне, но до сих пор, за несколько месяцев закрытого тестирования, только 2 или 3 домена оказались ошибочно внесены. И вот сейчас еще 2 нашлось. В остальных же случаях выяснялось, что ошибочно были оставлены спамерские комментарии, написанные «по теме», но ради очередной ссылки на очередной дорвей по строительной тематике.

[Kirax]

Не понимаю из-за чего столько сложностей. Неужели не проще сделать редирект или выводить поле URL, скажем javascript-ом или и то и другое?

[Novikov]

Дело в том, что тупые спамеры гадят даже тогда, когда все ссылки заредирекчены и закрыты по самые гланды. В блоге появляется мусор, который просто массой душит нормальные обсуждения.

Вот пример:
ownthesite.ru/2008/05/11/wordpress-251-lecactus/#comments

[Kirax]

насколько я заметил тут всего лишь nofollow, который даже не факт что влияет на что-то.

[Novikov]

Не, тут не в контексте SEO говорю. Вы посмотрите, там же просто нет нормального обсуждения — из-за спамерских отбросов ему просто не пробиться!

[kovleon]

Была мысль сделать подобную сеть(спам/реклама) на базе торрента: где центральный сервер позволяет соединятся клиентам между собой для синхронизации списков, плюс рейтинги/доверие к ссылкам.

[Mekras]

А как насчёт API, чтобы можно было сделать плагины не только для WordPress, но и для других систем?

[Novikov]

Там даже API не нужен. Надо только формат списков знать. Люди вот импортируют даже в Movable Type

[unno]

Алексей. Я уже поломал твой антиспам. :)

[Novikov]

Опишите :-)

[unno]

В привет мире предпоследний комментарий. Ну или уже не предпоследний, проще искать по моему нику.

Заменил букву «a» в адресе на HTML Enitity. Все работает. Вот и вся магия.

[Novikov]

А, фишка с заменой букв на последовательности типа a уже в разработке :-)

[unno]

Ну, тут немного другой вариант подмены, так что его тоже учтите. :)

[Novikov]

Учтем. Что посоветуете? :-)

[unno]

Я так понял, что у вас там PHP, хотя это не суть важно, т.к. в других языках тоже есть варианты решения, но для PHP: html_entity_decode — для моего варианта, url_decode — для предыдущего варианта.

[Novikov]

Так и буду делать. Скорее всего, придется делать какой-то фильтр, который при сохранении будет конвертировать такие штуки в обычные.

Или предупреждалку, обнаруживающую такие фокусы и бьющую тревогу.

[Novikov]

Более удобный механизм будет чуть позже, сперва разберусь с тем, насколько серьезна лазейка с подменой символов в домене. Жду ответа от поисковиков. Надеюсь, что искаженные таким образом домены просто не будут учитываться :)

[egorinsk]

Насколько я понимаю, тут есть 2 способа: на уровне HTML текст может быть заменен на html-entities(& something; и & # code ;), и в УРЛ тоже можно кожировать символы через urlencode()

[soulruins]

Очень интересная статья. Добавил в закладки.

[kabachok]

это сообщение очень похоже на спам :D

[Novikov]

Очень :-)

[egorinsk]

Здорово)) Порадовало злобное, но с юмором отношние к спамерам. Хотелось бы, чтоб интернет уже стал чище, и чтоб всех этих поганых черных СЕО-шников уже забанили окончательно, вместе со всеми их дорвеями.

А заодно все долбаные линкопомойки, сплоги, и прочий хлам, который генерируют через РСС, а также СДЛ, которые бедные копирайтеры в поте лица за копейки делают.

Ну и отдельно (особо жестоко;) надо банить всяких SAPE-шников))

> И еще в статистике появились заходы с закрытых спамерских форумов.

)) Боятся или просто интересуются? Может их IP тоже на всякий пожарный записать?

p.s. А ведь вроде на ссылках в комментах ставят nofollow, в чем смысл спамить? Заманивать народ? И нафик тогда плагин, если для заманивания народа ссылку можнотпробелаимт писать, или через tinyurl

[Novikov]

Дело в том, что спамеры даже не смотрят, есть ли nofollow, noindex и пр. им пофигу — они тупо фигачат автоматом. От таких у меня капча. Чтобы капчу обойти — нанимают гоблинов. Гоблины получают за количество — тоже плюют на нофоллоу :) Но от них помогает мой плагин.

[egorinsk]

Кстати, математический плагин (на тестовом блоге), по моему — фигня, можно же фигачить числа рандомом процентов 10 пройдет.

[Novikov]

два числа, от одного до десяти. Двадцать вариантов суммы. Один из двадцати — это 5% по рандому. Но пока что ни одного не проходило.

[merlin-vrn]

А насколько реально прикрутить к совсем другому блогу? Скажем, я вообще странный человек и предпочитаю вести блок в связке плагинов blog и discussion в DokuWiki. (Я действительно именно такой странный человек, мне очень нравится, как написана DokuWiki— это очень качественный объектный код со всеми вытекающими. А ещё он без СУБД, в плей-текстовых файлах всё хранит, и не тормозит. Короче, мечта.)

Возможно ли появление API вроде того, как сделано на recaptcha (там регистрируешься, получаешь у них персональный криптографический ключ...)?

[Novikov]

Как к другому — не знаю, все-таки, использованы специфические для Wordpress функции, его API.

Но вот на problog.ru человек написал, как в Movable Type списки импортировать.

[Dimox]

Потрясающе! Novikov, большое спасибо за этот проект! Я давно мечтал о подобном сервисе. Желаю больших успехов!

[Novikov]

На здоровье. Мы его еще сейчас и улучшим, и прокачаем.

[Novikov]

Пока вот такой вариант:
blog.parasite-eliminator.ru/development/kak-byt-esli-zaxotyat-podstavit/

[SidexQX]

Давно подумывал о таком счастье)))) Приму активное участи в развитии, у меня спам резервируется))))) Раскидаюсь только с текущими проблемами!
Спасибо за сервис и плагин!

[ilvar]

Как я понимаю, для реализации минимального функционала для своего блога мне нужно сделать:
1) проверку текста и урла комментария на нахождение в черном списке
2) проверку урла комментария на нахождение в белом списке
3) обновление списков с сервера

Так? Или надо еще добавление урлов в список при подтверждении спамности? Пробежав код «по диагонали», я не нашел там отправки списка на сервер — оно там есть? Или я просто давно не брал в руки PHP? :)

[Novikov]

Там есть несколько функций:
1. проверка новых комментариев сразу при добавлении
— по черному списку
— по белому списку

2. сканирование всей базы
— по черному списку
— по белому списку

3. фильтрация URL с имени комментатора, если URL нет в белом списке

4. обновление списков с сервера

5. ручное добавление в локальные ч и б списки

6. локальные исключения из ч и б списков

Еще собираюсь добавить функциональность по извлечению из спама ошибочно добавленных комментариев.

Пока удобной функции отправки на сервер нет, шлют мылом :-) Но будет, как только разберусь с более важными вещами.

[ilvar]

Спасибо, попробуем сваять :)

[Jman]

Я уже вижу как спамеры пишут парсеры, которые ищут «графические отпугиватели» и вычищают свои базы.

[Novikov]

Для них есть специальный сервис. Красный список — первый в мире антиспамерский сервис для спамеров. Даже парсить не надо — мы сами им говорим, что не надо нас трогать.

[bimcom]

А вас не смущает что недовольный спамер возьми да проспамит по вашему красному списку, но не сцелью проставить ссылку — а так с целью просто поспамить — чтобы нагадить в каменты, а блогеру потом вычищай мусор, а спамер он не один и не одно сообщение пошлет, а сразу 100-1000 сообщений — в объщем мусора может падать по несколько десятков тысяч сообщений в день.
Может не нужно этот список вывешивать?
(спамит без ссылок — такчто фильтр не сработает)

[Novikov]

Блоггеры, наоборот, сами просятся :-)

да, не исключено, что некоторые, особо ущербные ментально кастрированные спамеры будут гадить специально. но практика показывает, что это не критично, надолго их не хватает, а автоспам можно будет заворачивать ;)

[Novikov]

1. Сперва спамеры спамили мои блоги. Это были первые спамеры в списках.
2. Затем я придумал способ вскрывать спамерские сетки превентивно.
3. Потом я искал спамерские комментарии у знакомых блоггеров.
4. Теперь присылают мне на рассмотрение.

Я все просматриваю своими глазами, в спам отправляются или явные сплоги да дорвеи, или иногда попадали блоги оптимизаторов, рекламировавших софт для генерации дорвеев. Впрочем, последних я уже разбанил.

[CheStyle]

Умм, а как с url shortner сервисами? вот я прогнал test.spam через tr.im и комментарий прошел. Если спам ручной, то конвертировать УРЛ проблемы не составит.

[skazkin]

Спам в основном для SEO — ссылки такие никому не нужны будут, а посещаемость есть более простые способы нагнать

[CheStyle]

Ну так ссылки в комментариях практически везде с nofollow…

[Novikov]

Яндекс на него чихал. Кроме того, если уж блог в базе спамеров, то можно нофоллоу ставить — им по фиг. Они хозевам показывают, что линк стоит, и все.

Поэтому плагин в качестве одной из фич имеет фильтр и дрессирующий механизм.

[developer]

а noindex?

[Novikov]

А спамерам по фигу. Блог в базу внесли — и дальше фигарят. Помогает только жесткая фильтрация автоспама (капча) и страх быть сданными в поисковики.

[Novikov]

Такие URL спамерам оставлять смысла нет. Они ж себе накручивают тиц и пейджранк, а не сервису трим.

[kabachok]

Так-с, у меня уже было первое боевое срабатываение :)
Продолжаем поподнение базы спам URL

[skazkin]

10 срабатываний с ходу+) Супер=)

[Novikov]

Это сканер по прошлым каментам или фильтр по новым отработал?

[skazkin]

Когда ставил — было 10 непроверенных комментариев (у меня все в модерацию идут) — и все отметил как подозрительные=)

[alexxxst]

А в коде плагина function npe_сurl_is_allowed() буква C должна быть русской? :)

[Denya]

Спам Карму отключать надо
2.3.3 — не работает. Активирую — виснет.

[crizis]

Правильно ли я понимаю, что плагин сдох? База уже много лет не обновляется. :(