@juks26 авг 2008 в 15:59

Как остановить Рамблер?

1 мин

1.1K

Habr

+99

Комментарии 95

@Dangelweb 26 авг 2008 в 16:04

Рамблер уже гугл, очень жаль (

@marapper 26 авг 2008 в 16:27

идите учите матчасть, дорогой.

НЛО прилетело и опубликовало эту надпись здесь

@Cosmonaut 27 авг 2008 в 01:07

Для лучшего эффекта запрашивать не просто произвольные страницы, а делать поисковый запрос длиной в километр, начинающийся со слов «Почему наш сайти так нежно индексируют...» (простор для фантазии харбравчан). Думаю, при превышении, скажем, 100К requests per sec. ребята задумаются ;)

@angry_elf 27 авг 2008 в 07:18

И запихнуть этот запрос в какой-нить 1-пиксельный гиф и вывесить на главную )

НЛО прилетело и опубликовало эту надпись здесь

@BAHO 26 авг 2008 в 17:26

Мотороллер на Ваш ли? )

@cc00ffee 28 авг 2008 в 08:38

Напишите свой комментатор и комментируйте этот топик 1700 раз в секунду. Хабралюди вам в помощь.

@cc00ffee 28 авг 2008 в 10:57

шутка.

@Taoorus 26 авг 2008 в 16:40

Интересно, а кто-то из ЦА Хабра пользуется Рамблером?

@Aist 26 авг 2008 в 16:50

Мы тоже так подумали, а потом посмотрели статистику и поняли, что не так и мало народу ходить на Хабр именно с Рамблера.

@Taoorus 26 авг 2008 в 17:14

Которые вводят слово «хабр» и кликают по первой ссылке? :-)

PS
Если можно то ответьте на вопрос здесь а не в тем для вопросов вам. Откуда больше всего приходят(с яндекса, гугла и тп)? Некий Топ10.

@deniskin 27 авг 2008 в 00:51

1. google (258 515)
2. yandex (58 577)
3. live (463)
4. search (451)
5. yahoo (301)
6. msn (177)
7. altavista (8)

В скобках указано кол-во переходов за последние 30 дней (с 26.07 по 25.08).
В этом списке нет Рамблера. Google Analytics исключил Рамблер из отчета «Поисковые системы».
Жаль, что дедушка больше не с нами.

@nokta 27 авг 2008 в 05:03

На сколько мне известно, Рамблера в статистике никогда и не было.
В общем, можно самому добавить любую поисковую система Nigma, GoGo, Mail.ru и т.д.
Вот статья на эту тему www.umade.ru/log/2007/02/209.html

@Taoorus 26 авг 2008 в 16:54

Это какбэ намёк.

НЛО прилетело и опубликовало эту надпись здесь

@AntonSpb 26 авг 2008 в 18:53

В России DoS-атаки не запрещены законом

@MrTiM 26 авг 2008 в 19:52

В зависимости от вашего адвоката и их прокурора ст.273 УК РФ вполне применима, а заодно и ст.274.

@fmka 27 авг 2008 в 06:59

Хулиганство запрещено )

@Zippovich 26 авг 2008 в 16:42

Я 2 месяца пытаюсь сайт в рамблер добавить — никак не хочет индексировать — вот так вот у одних чересчур, у других 0.

@Urevic 26 авг 2008 в 18:18

Напишите им в саппорт, возможно, что ваш сайт автоматически забанен. У меня так было, никак не мог понять почему он гад не ест ни одной страницы. Смущало то, что обычно поисковик кладет в индекс хоть сколько-то страниц и только потом уже может выкинуть. Оказывается в рамблере это теперь не так.

Если интересно, чуть подробнее описывал случай у себя в жж: urevic.livejournal.com/580.html

@aps 27 авг 2008 в 06:17

Рэмблер гарантированно индексирует те страницы, на которых стоит его счетчик. Если у вас его нет — попробуйте поставить на некоторое время.

@denisnomad 26 авг 2008 в 16:43

Мне бы ваши проблемы…
*мечтательно смотрю в потолок

@willwin 26 авг 2008 в 17:19

и зачем вам такие проблемы?=)

@denisnomad 26 авг 2008 в 17:21

а, пригодятся:) мало ли, что я затею…

@amgorb 26 авг 2008 в 16:44

Я думаю, что лучше всего (если сервер на Linux) настроить limit, limit-burst у iptables на все подсетки рамблера.

@humpook 26 авг 2008 в 16:46

могу согласиться с автором поста, рамблер в последнее время уж очень сильно начал гоняться за сайтами
например на мой сайт с рамблера каждый день идет от 500 до 700 хостов в сутки, мне столько трафика ни Яндекс, ни даже Гугль не дает — что очень печально.

Если Рамблер всё-токи оставит свой поиск, а не поставит Гугловский, я скорее буду рад, чем огорчусь — лучше хоть какое-то, но своё.

@Astronavt 26 авг 2008 в 16:52

Заблокировать часть запросов, посмотреть что будет с индексом в Рамблере.

@juks 26 авг 2008 в 19:08

Хочется обойтись без блокировки, просто ограничить скорость. Я и не сомневаюсь, что мы это сделаем, просто у нас своя проблематика, в частности аренда Cisco Guard, это накладывает свои требования и порядок действий

@Pas 1 сен 2008 в 20:25

Можно загнать весь траффик с подсетей Рамблера через ipfw в dummynet и резать там трубу до нужного кол-ва килобит в секунду. Запросов не уменьшится, но нагрузка упадет.

@mlu 26 авг 2008 в 17:20

Недавно поисковые боты Яндекса ддосили мой сервер, ~50 запросов в секунду, саппорт ответил через полтора дня, к тому времени уже руками в фаере побанил любителей что-нибудь поЯндексировать :) Благо хоть извинились и сказали, что примут меры, мало того, через несколько дней прислали еще 1 письмо, опять извинились и сказали, что всё пофиксили и такого больше не повторится :)

@4upuk 26 авг 2008 в 19:21

Вот вот. Мой бедный форум на виртуалке вобще чуть не отключили из-за Яндекса, пришлось совсем индекс ему отключить.

@kabachok 26 авг 2008 в 22:42

яндекс понимает с некоторых пор Crawl-delay

@4upuk 27 авг 2008 в 03:09

Спасибо, попробую настроить роботс.

@zabr 26 авг 2008 в 17:25

Может для рамблера отдавать кеш и раз в сутки его перестраивать?

@juks 26 авг 2008 в 19:08

Он слишком в широком диапазоне ходит, чтобы всё это держать в кеше

@zabr 26 авг 2008 в 20:55

хмм может ограничить время хождения запросов? через простой шелл скрипт + иптаблы
т.е с 24 до 9 утра давать ходить например…

@juks 26 авг 2008 в 21:06

как-то не системно, потом он любит очень и ночью поднавалиться. Самый треш происходит в выходные, у всех поисковых систем становится какой-то буйный приступ

@stepancheg 26 авг 2008 в 22:16

Очевидно, это чтобы в будни не прогружать каналы и серверы.

@Ueasley 26 авг 2008 в 17:25

А забанить Рамблер до выяснения причин нельзя?

@juks 26 авг 2008 в 19:09

Уже банили на то время, пока занимались оптимизацией производительности. И, по сути дела, получается, что старались мы для рамблера, чтобы выдерживать эти самые 170 в секунду

@Orenlab 3 сен 2008 в 19:23

Вот, а я думал он только меня так любит… Устав воевать с ним, я ограничил на фаерволе сервера лимит запросов для него. Nginx его держал легко, невзлюбил его mod_evasive, но так как этот модуль призван у меня лишь сигнализировать о возможных детских dos-атаках (при маштабной ddos- атаке от него толку нет вообще, скорее наооборот), то занесение рамблера в BL на 300 секунд отбивали у него охоту таким нахальным образом индексировать сайт ровно на сутки. Выдачу в нем не проверял, но рефералы идут с него, значит что-то он успевает все же проиндексировать

@juks 4 сен 2008 в 07:24

Да, у нас своя канитель, по этому не так всё просто выходит, как в случае, когда можно просто наложить ограничение на ip.

Обошлись ограничением скорости отдачи в nginx. 200 байт в секунду решают проблему

@den_rad 26 авг 2008 в 17:28

Меня так-же Гугл «полюбил», бан на iptables спас ситуацию

@glider 26 авг 2008 в 19:08

Гугл-то хоть robots поддерживает)

@DYPA 26 авг 2008 в 18:33

выскажу мысли:

Server: nginx/0.6.31
Date: Tue, 26 Aug 2008 18:19:58 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: close
X-Powered-By: PHP/5.2.4
Content-Encoding: gzip

— выдавать верные заголовки (Last-Modified, ETag) (заодно сделать пользователям приятное в виде заголовка Content-Length)?
— php обновить стоит

@juks 26 авг 2008 в 19:13

Есть такое решение nginx.

limit_zone one $binary_remote_addr 10m;

…

if($http_user_agent ~* «StackRambler») {
limit_conn one 1; # Пока не работает внутри if!
}

Будем решать другими способами

@nblxa 26 авг 2008 в 18:53

А что, у рамблера еще и поисковик есть?

@DuMMeR 26 авг 2008 в 18:54

Хорошая шутка)

@Tails 26 авг 2008 в 18:54

Рамблероэффект :)

@private 26 авг 2008 в 19:12

170 запросов в секунду — то ведь цветочки.
вот когда будет 3-4 мегабита в секунду — тогда имеет смысл перекинуть днс на гугл, и пускай оно всё хоть обиндексируется.

@davojan 26 авг 2008 в 19:16

> nginx в шаге от того, чтобы решить эту проблему

Забавное совпадение — автор nginx работает в рамблере :)

@juks 26 авг 2008 в 19:54

На него все надежды

@xstb 28 авг 2008 в 12:53

И у него кроме решения проблемы с nginx как бы остается запасной вариант — исправить рамблер :-)

НЛО прилетело и опубликовало эту надпись здесь

@enlarge_your_brain1s 29 авг 2008 в 14:46

А глупый робот значит просто не заметит, этого редиректа и пойдёт досить рамблер, да? :-)

@Mastyf 26 авг 2008 в 20:09

Наверное базу для нового поиска «улучшенного Гуглом» собирает :)

@Liar 26 авг 2008 в 20:10

Это до вас еще GoGo не дошел. Вот где жесть.

@juks 26 авг 2008 в 20:14

Дошёл. К счастью, удалось найти общий язык со службой поддержки, подкрепив свои доводы журналом обращений.

Гого попался первый раз на том, что активно искал слово «google» в поиске, в то время, когда обращения к поиску были запрещены в robots.txt

@VovixLDR 26 авг 2008 в 20:25

Да забаньте вы его за несоблюдение robots.txt, пох кто этот рамблер купил. Это самый настоящий DoS.

@juks 26 авг 2008 в 20:30

10 000 посетителей в месяц

НЛО прилетело и опубликовало эту надпись здесь

@abava 26 авг 2008 в 21:36

Etag, Last-Modified и Expires заголовки помогают

@syndicut 26 авг 2008 в 21:39

Кстати, на одном из наблюдаемых мной серверов рамблеровский бот, судя по логам, самый гуманный: спросит 5 страниц с интервалом в секунду и ждет минуту.

@Disaview 26 авг 2008 в 22:13

Ребята, повеселился я. Что сам топик, что комментарии к нему.
Из Рамблера клоуна сделали. По-хорошему постебались.

@Voropaev 26 авг 2008 в 22:52

У нас есть проект Шахматный портал, так вот «внимание» со стороны роботов Yahoo тоже порой бывает очень даже накладным. Мы замечали по 170-200 роботов одновременно. У гугля поменьше аппетиты, но тоже порой на каждую html-страницу запускает отдельного робота

НЛО прилетело и опубликовало эту надпись здесь

@LionAlex 27 авг 2008 в 05:45

— Валл-и!
— Ева!

@Timon 27 авг 2008 в 05:56

Рамблер как Россия… умом её не понять.

@neiromancer 27 авг 2008 в 06:21

man iptables
ask google «iptables string»

как остановить
iptables -A INPUT -p tcp --dport 80 -m string --string 'rambler user agent uniq header' -j DROP

можно и падлу сделать и перенаправить весь их трафик на них самих
iptables -t nat -A PREROUTING -p tcp --dport 80 -m string --string 'rambler user agent uniq header' -j DNAT --to-destination $RAMBLER_IP:80

и пусть сами разбираются со своим ботом

а если не так жёстко, то вы же знаете блок адресов рамблера? дак ограничьте кол-во запросов в секунду от них
iptables -A INPUT -p tcp --dport 80 -s $RAMBLER_SRC_NETWORK -m limit --limit 10/sec

у вас админ не в курсе?!?!

@oowl 27 авг 2008 в 06:51

Про рамблер, кстати. Смотрю так сегодня статистику, никого значит не трогаю. Дохожу до сайта, которым уже в принципе-то и не занимаюсь давно… И вижу такую картинку.
90% этих людей пришли с рамблера. Отмечу, что это не роботы, т.к. по людям есть разная статистика, да и вообще аналитикс подключается js.

@snapper 27 авг 2008 в 08:55

Здравствуйте,

Мы сожалеем о том, что доставили вам неудобства.

Тем не менее, обращаю внимание на то, что у вас на одном ip-адресе находится более 25 000 хостов. Мы поддерживаем Crawl-delay и качаем не более некоего разумного количества документов с одного хоста в секунду и при этом не устанавливаем одновременного подключения к одному ip-адресу с нескольких наших адресов. Однако в данной вырожденной ситуации именно такое кол-во хостов привело к данной ситуации.

Кроме того, в связи с недавними изменениями вашего дизайна изменились практически все урлы документов, но наш робот перекачивал старые урлы и получал HTTP-ответ 302. Один такой ответ очень маленького размера, и nginx должен быстро с ними справляться.

Вариант решения данной проблемы — настроить ваши сервера на ограничение скорости отдачи конкретному user-agent. С нашей стороны повторения такой ситуации произойти не должно и активность робота постепенно сойдёт на нет, так как база урлов обновилась.

С уважением,
Дмитрий Федорук
Разработчик поискового отдела Рамблера

@juks 27 авг 2008 в 09:28

Здравствуйте, спасибо за вразумительный ответ.

Но 25 000 хостов это ведь не предел. Учёт фактических ip-адресов, с которых запрашиваются документы в данном случае не представляется лишним. Иначе дериктива Crawl-delay становится просто бессмысленной.

@snapper 27 авг 2008 в 09:49

Ещё раз повторю — в один момент времени мы подключены к одному ip-адресу только однажды, в рамках одной сессии выкачки. За эту сессию мы выкачиваем, к примеру, максимум 5 документов с одного хоста. С вами ситуация такая — выкачали 5 документов с хоста a.habrahabr.ru, больше этот хост не трогаем некий промежуток времени, но в этой же сессии выкачали 5 документов с хоста a1.habrahabr.ru и так далее. Crawl-delay cмотрит на хост, а не на ip-адрес. Обработка ip-адреса — мысль хорошая, но никто не даст гарантии, что у данного хоста завтра не поменяется ip.

С такой же ситуацией (много хостов на одном ip) обычно сталкиваются фри-хостеры, но у них это затруднений не вызывает.

@juks 27 авг 2008 в 09:59

Это понятно, но, по сути дела, получается, что если брать не математический момент времени в виде бесконечно малой величины, а то, что все привыкли воспринимать умом — секунду, то получится несколько десятков соединений в секунду, что мало кто любит.

Некоторая недооценка действительности всё же имеет место.

@juks 29 авг 2008 в 13:05

14:26:51 — 150 обращений :-)

Продолжаете жечь

@snapper 29 авг 2008 в 13:49

Мне кажется, ясно описана проблема и методы её решения. Дальше дело за вами.

@juks 29 авг 2008 в 14:01

За нами не заржавеет, будьте спокойны

@Electronick 27 авг 2008 в 09:03

на netradio.by мы вынуждены были забанить индексатор Рамбера, т.к. он запрашивал более 150 запросов в секунду, что вызывало громадную нагрузку на сервер, в то время выдерживающий лишь 100-130 =) Он просто складывался .)

@timurv 27 авг 2008 в 09:04

А почему нельзя банально написать в nginx

if ($http_user_agent ~ «Rambler»){
set $limit_rate 100;
}

@juks 27 авг 2008 в 09:31

Можно. Всё же хотелось получить компетеных комментариев, что, собственно, и вышло в итоге.

@juks 27 авг 2008 в 09:40

Но тут не так всё просто, как хотелось бы: надо сначала убедиться, что весь ответ от бэкенда останется в буфере nginx, а тот сможет заниматься своими делами дальше. Занимать апачи медленной выдачей как-то не очень хочется

@timurv 27 авг 2008 в 09:59

Останется в буфере, для этого nginx и нужен.
sysoev.ru/nginx/docs/http/ngx_http_proxy_module.html#proxy_buffering

@timurv 27 авг 2008 в 10:41

Помогло?

@juks 27 авг 2008 в 11:53

сразу не скажешь, время покажет

@timurv 27 авг 2008 в 13:11

Карма покажет )

@juks 29 авг 2008 в 13:20

при ограничении в 1k проходит 150 запросов :-) Можно, конечно, меньше поставить, но мне кажется, что мы что-то не так понимаем.

Рамблер водит нас за нос :-)

@juks 29 авг 2008 в 13:42

Судя по всему, 200 байт в секунду — это наше всё, хотя, пока точно сказать не берусь

@timurv 29 авг 2008 в 14:36

Наверное имеет смысл поставить такое ограничение на все поисковики… А еще лучше сделать обратное ограничение по известным user agents браузеров

@timurv 29 авг 2008 в 14:37

if ($http_user_agent !~ «monit|HostTracker|Pingdom|MSIE||Yandex|Opera|Firefox|Safari|Konqueror|SymbianOS»){
set $limit_rate 200;
}

@juks 29 авг 2008 в 14:48

Не знаю, зачем всех обламывать по дурному примеру. Как-то доверие надо сохранить, всё же

НЛО прилетело и опубликовало эту надпись здесь

@kelevra 29 авг 2008 в 06:53

с яндексом боролся так:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} yandex [NC]
RewriteRule .* /shit/huyandex.html [R]

Зарегистрируйтесь на Хабре, чтобы оставить комментарий