Andrey_Rogovsky 18 окт 2009 в 09:58

Вычисляем плохих ботов

1 мин

2.9K

Информационная безопасность*

+46

Комментарии 52

НЛО прилетело и опубликовало эту надпись здесь

Andrey_Rogovsky 18 окт 2009 в 11:51

Твой провайдер принудительно пускает весь трафик через прокси?

lost_shadow 20 окт 2009 в 15:57

Если это сарказм, то зря смеётесь. Мой так и делает.

differentlocal 18 окт 2009 в 10:34

А еще я советую сразу блокировать все диапазоны разных ЦОД от посещений вашего сайта. Все равно через их IP, выделяемые под арендованные сервера, нормальный посетитель ходить не будет, и эта мера срезает сразу 80% спама через формы.

Строго говоря — не метод. Многие используют удаленные сервера в ДЦ как proxy/VPN gateway, есть сервисы, расположенные в ДЦ и обращающиеся к сайту (различные аптайм-чекеры, анализеры и т.д.) да и сотрудники ДЦ зайти могут. :)

Andrey_Rogovsky 18 окт 2009 в 11:50

Специально в первом предложении писал: Это ничуть не руководство к действию…

Skif300000 18 окт 2009 в 15:19

На самом деле, проблема по большей части не в том как блокировать (все уже придумано до нас), а в том сколько настоящих пользователей не смогут воспользоваться вашим сайтом. Я считаю что вполне достаточным будет при регистрации описать механизм защиты, который работает на сайте. Опытные пользователи сами разберутся, а люди которые используют ботов не будут возиться с настройкой их специально под ваш сайт, для них важнее количество.

Slivus 18 окт 2009 в 21:03

Хорошее замечание: _опытные_ пользователи сами разберутся… И долго вы думаете ваш сайт проживет с подобной политикой?

Andrey_Rogovsky 18 окт 2009 в 23:47

Есть сайты которые живут только благодаря опытным пользователям, а неопытные не имеют туда даже read only.

jfkz 20 окт 2009 в 07:55

тонкий намёк =)

НЛО прилетело и опубликовало эту надпись здесь

Andrey_Rogovsky 18 окт 2009 в 11:49

Только к плохим, злым ботам

Klimka 18 окт 2009 в 11:57

Нужно что-то подобное придумать для плохих, злых индусов, которые тоже спамят все вокруг. Например — регистрация на хинди. Кто зарегится — тому бан :)

А если по существу — то статья хорошая, я беру себе на заметку. Хочу сделать безопасный сайт к тому же без капчи. Поэтому подобные штуки — на вес золота.

Andrey_Rogovsky 18 окт 2009 в 12:08

Тогда уже проще закрыть весь индийский и китайский трафф через mod_geoip, это займет пару строчек

Klimka 18 окт 2009 в 12:46

Но там же есть и хорошие люди :)

Coder 18 окт 2009 в 12:25

Хороший бот никогда не полезет туда, где ему запрещено через robots.txt.

Гугл полезет.

Andrey_Rogovsky 18 окт 2009 в 12:37

Ссылка на это есть?

postdig 18 окт 2009 в 12:49

проанализируй логи веб сервера и увидишь без ссылки.

Andrey_Rogovsky 18 окт 2009 в 13:10

Может это фек боты под гугла маскируются

reality 18 окт 2009 в 15:35

ага, и еще они при этом умудряются делать запросы с ip гугла

Dragonizer 18 окт 2009 в 16:11

Интересно. Если Ваша ситуация не совпадает с описанной, например, [url=http://www.seonews.ru/events/detail/118613.php]здесь[/url], не могли бы Вы подробнее описать/привести статистику/написать топик об этом?

А так, у меня самого в юзер агент свитчере есть пара ботов для просмотра закрытых, но индексируемых форумов. :)

Dragonizer 18 окт 2009 в 16:12

Прошу прощенья, вот ссылка (забыл переключиться с бб на хтмл).

Setti 18 окт 2009 в 13:31

<почти оффтопик>Хочу научиться автоматически различать двух людей, которые заходят на один и тот же сайт с одного и того же компьютера.</почти оффтопик>

ozware 18 окт 2009 в 13:33

половина из методов не верна для гугла

robots.txt — тут у гугла вообще свое мнение, а информация из robots.txt — это рекомендация, а не указание к действию. Очень часто страницы, закрытые в robots.txt, находятся в индексе

javascript — гугл тоже очень часто понимает, а из-за его желания индексировать ajax-сайты есть мнение, что он эмулирует работу JS. Так что это тоже не выход.

яндекс повторяет функционал гугла с некоторой задержкой, так что для него тоже многое верно

насчет печенек — мысль хорошая, только сайт-ловушку нужно делать на отдельном домене, иначе возможны проблемы с индексацией сайта. Хотя тот же самый плохой бот может не пойти по ссылке на другой домен. Так что этот метод под вопросом.

защита с формой — мысль тоже хорошая, но тут защита только от спама в комменты, от граббинга контента она не защищает.

Andrey_Rogovsky 18 окт 2009 в 14:14

А что из Гугла говорят на счет таких страниц?

ozware 18 окт 2009 в 15:53

даже как-то не интересовался этим, я обычно добавляю мета-тег robots noindex

akral 18 окт 2009 в 17:13

Гугл говорит, что по таким ссылкам категорически не ходят, однако могут добавить в индекс, если на закрытый ресурс где-то будет публичная ссылка. При этом информацию про ресурс он берет строго из ссылки, но не со страницы.

Andrey_Rogovsky 18 окт 2009 в 18:48

Ну тогда в принципе ничего страшного, можно проверять ловушку по рефералу — не пускать кроме как со своего сайта туда.

kikaha 18 окт 2009 в 16:36

у меня есть свое мнение: robots.txt — это моя закрытая (не на замок) дверь. если кто-то ломится в закрытую дверь, хоть я и явно дал понять, что не хочу там никого видеть — то этот кто-то явно нарывается. вежливые боты уважают мое пожелание, им — заходи пожалуйста, а есть значится еще и паханы, типа Гугла, которым совершенно по барабану, что они не у себя дома?
я совершенно искренне не считаю Гугл империей зла, но хамство и беспардонность терпеть не могу, такой у меня недостаток, ничего не могу с собой поделать :(

3em 18 окт 2009 в 23:16

зачем на «закрытую дверь» ставить ссылку в таком случае? Дверь закрыли, а ключик в замке остался?

Andrey_Rogovsky 18 окт 2009 в 23:48

Честный бот мимо пройдет

kikaha 19 окт 2009 в 00:27

ссылка могла быть год назад. я купил недавно пустовавший домен, из-за того что он был в ДМОЗ, проверить кое что. поставил на него вордпресс и смотрю логи — тат гуглобот с пару недель по годичной давности ссылкам долбился.

Andrey_Rogovsky 19 окт 2009 в 01:14

Такие домены вообще отдельная тема.

kikaha 19 окт 2009 в 03:05

какая отдельная? мне, как новому владельцу, совершенно по барабану — что находится в кеше или в индексе какой-то посторонней мне поисковой системы. робот заходит, в robots.txt русским по белому написано «в этом каталоге рыбы нет» — и все довольные расходятся по домам. чего долбиться?

Andrey_Rogovsky 19 окт 2009 в 08:07

Гугл проверял — изменился ли сайт или нет
Если бы не изменился, то он оставил бы ему свой вес
А так подолбился, понял что сайт не торт ну и того…

kossmoss 18 окт 2009 в 14:15

Фейк-форму лучше сверстать так, чтобы посетители её вообще не видели. Но предупреждение следует оставить для тех, кто все же сможет её увидеть в экзотических браузерах.

humator 18 окт 2009 в 14:26

spampoison.com/

SilverTH 18 окт 2009 в 14:29

>>Возможно капча на флеше?

Не все устройства поддерживают флэш.

AstonMartin 18 окт 2009 в 14:35

По моему, с такими советами очень легко словить бан за клоакинг.
На коммерческом сайте я бы так экспериментировать не стал. Да думаю и автор сам не пробовал эти предложения на реальном денежном сайте.

Andrey_Rogovsky 18 окт 2009 в 14:41

Нет, если спрятать все ловушки за robots.txt, то ничего не словишь — я проверял уже

AstonMartin 18 окт 2009 в 15:03

вы считаете что хорошие боты это только поисковые боты?

Andrey_Rogovsky 18 окт 2009 в 23:49

Нет, еще хорошие — Электронник, Бендер, да много их.

nnmkayf 18 окт 2009 в 14:50

Все это очень классно, но нужно предусмотреть в скрипте вероятность, что злобный бот, будет использовать «хороший» юзер-югент «Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)»
Если этого не предусмотреть, то можно заблокировать гуглового бота.

Обезопасится можно используя проверку по ip, возможно читатели предложчт что то еще?

Andrey_Rogovsky 18 окт 2009 в 14:59

На агента не стоит обращать внимания, это подделывается так же просто как и поле from в email.

AlexeyK 18 окт 2009 в 15:02

Ничего полезного не почерпнул, тем более не понял зачем мне вдруг делать какие-то фейковые формы, представляете комменты на дигге или мсдн майкрософт с такими формами? Я тоже не очень. Ну давайте положим чототам в защищенную директорию, куда-то там сделаем редирект и бот туда пойдет (при этом ддос бот туда не сунется, гуглобот скорее всего), в итоге забаним продвинутого гуглбота (а не простой краулер), сайт получит херовый индекс и рейтинг, а вы люлей…

Тот же самый яваскрипт редирект, пусть и зашифрованный можно обойти, если бота контролирует человек.

А вот флеш вроде бы неплохая идея.

catbegemot 19 окт 2009 в 08:09

Вы не совсем правы — у меня по моим сайтам и сайтам клиентов постоянно шарятся индусские и китайские роботы, ворующие контент. Ручки там очень кривые, поэтому роботы либо держат сессию по восем часов, либо еще каким-то хамством страдают. Причем ломятся исключительно каждый со своего адреса. Как по мне, так проще отловить такие безобразия автоматом, а список адресов скопировать в стоп-лист фаервола на сервере.

opeg 18 окт 2009 в 16:42

Есть ещё вариант
Как правило поля формы называют человекопонятными именами name, email, mail, post, send, fname, date, text,…
Можно эти поля не показывать пользователю(приход информачии через эти поля будет очначать что отправитель бот)
Пользователю показать поля со случайными названиями. (какое значение что значит знает только сервер и определяет по сессии пользователя)
Также можно ввести ложные кнопки для отправки формы, пользователю отображается только необходимое :)

зы: Описание некоторых методов борьбы со спамом в формы, и класс на скриптовом языке parser — Ссылка по теме

putnik 18 окт 2009 в 18:37

Правильные браузеры помогают пользователю автоматически заполнять поля со стандартными человекопонятными именами. Подставляя же что-то случайное, вы усложняете жизнь пользователю. А если пользователю приходится тратить пять минут на то, что делается за минуту, он расстраивается. Если ему приходится делать это регулярно — он может сильно расстроиться и уйти. Так что никакая борьба со злом не должна мешать хорошим людям.

opeg 19 окт 2009 в 01:19

Значит «Правильные браузеры» — немного того, боты :)
но на кнопку send нажимать они точно не помогают, такчто в кнопках ботов можно и нужно путать.

corbenov 18 окт 2009 в 19:22

методы понятные, но они, к сожалению, не панацея
за сайтом нужно следить постоянно, иначе его zas:root даже с самой навороченой «антибот» системой

можете выложить списки забаненых ip?