Робот Яндекса учитывает пожелания

[Efor]

> Интересно, что больше: хабраэффект на robots.txt или заходы роботов?

Это смотря в какой промежуток времени: робот ходит постоянно, а хабраэффект волной накатывает и отпускает )

[vladimirko]

ай ай ай робот. на воспитание гуглю дайте его… :)

[KaLGaN]

А я считаю, что это очень честно со стороны Яндекса.

[KaLGaN]

А кто Вам сказал, что это разборки? Представители Яндекса прояснили ситуацию, сообщили, что это их вина. Впредь наука, как говорится. ;-)

[mickolka]

Вы не поверите, но нас вчера добавили в Яндекс.Каталог, оба сайта, бесплатно. Мир не без добрых людей :)

[Rulez]

Какие либо действия предпринимались? А можно ссылку на обсуждения данной ситуации?

[kpblca]

Автоматические алгоритмы Яндекса определили ruprom.net и uaprom.net как хостинги (они и позиционируют себя как надежные хостинги, см. ruprom.net/tour-4 и uaprom.net/tour-4).

Ваши роботы ещё и просканенный контент читать умеют?!

[demitsuri]

Yandex Skynet может быть устроен так:

Роботы используют революционный алгоритм, в основе которого лежит постулат «Любая таблица с плюсами, минусами и звездочками является тарифной сеткой». Далее используется факт N1: «uaprom.net имеет 8506 поддоменов». На основании этого делается вывод о хостинге. Количественная оценка поддоменов служит критерием для определения надежности.

[Rulez]

шутишь? ;)

[karamba]

Яндекс — молодец.

[dark_dar]

Порадовала оперативность (впрочем, не удивлен тем, что представители Яндекса читаю хабр), а также очень повеселил последний тег.

[dark_dar]

конечно же, «представители Яндекса читают хабр»

[nikzh]

Ошибку исправили, спасибо, робота поставили в угол.

[nikzh]

Ай-ай-ай, сами провинились, а робот отдувается :))

[Rulez]

Ошибку исправили, спасибо, робота поставили в Гугол

[RAF]

Молодцы Яндекс! Обычно компании такого масштаба просто плюют на критику простых пользователей, а тут не так!

[tsepelev]

На Хабре не простые пользователи)

[RAF]

Ну я естественно с точки зрения денег :-) Сотня тысяч профессионалов, в том числе и с Хабра, в чистых деньгах приносит Яндексу копейки, но если игнорировать их, можно потерять будущее.

[mickolka]

Прозволю себе продублировать ответ на коментарий habrahabr.ru/blogs/yandex/62609/#comment_1735999 в этом посте

Александр, спасибо за детальный ответ, нам очень приятно, что компания Яндекс конструктивно отвечает на конструктивные пожелания.

Я описывал ниже суть проблемы из которой было ясно что поддоменов много. Мы действительно пока не всегда готовы к нагрузке 12 запросов в секунду, так как у нас нормальной является нагрузка 2-3 запроса в пике, эту проблему мы постараемся решить с помощью nginx и ограничении количества запросов с одного IP в секунду. Стоит отметить что количество страниц в индексе (сумарно менее 200 000 страниц) не требует индексации со скоростью 12 запросов в секунду, тем более учитвая что есть актуальный sitemap с коректными last-modified датами для всех поддоменов. Google индексирует нас со скоростью 1-2 запроса в секунду сумарно и мы очень довольны качеством и актуальностью его индекса.

В связи с этим, особенно хотелось бы пожелать Вам исполнить последние два пожелания, это был бы качественный шаг.

Надеюсь, что выпадние из индекса из-за блокирования 7 дней YandexSomething временно и скоро разрешится, хотя пока за 5 дней прогрес только в том что скачались sitemap и главная.

[eth1]

вы меня извините, конечно, что влез, но при штатной нагрузке в 2-3 запроса в секунду правильный хостинг просто обязан быть готов к таким пикам. а ну как один из ваших клиентов сподобится повесить баннер на морде яндекса?

[Kastrulya]

хочу посмотреть на робота в углу=))))

[lumenous]

Не совсем в углу, но почему то ассоциации именно с ним )))

[tegger]

Теперь понятно, что случилось с хостингом:

— Он ненавидел меня, потому что я с ним заговорил.
— Заговорил? — возбужденно воскликнул Форд. — То есть как «заговорил»?
— Очень просто. Меня охватила жуткая тоска. Я подключился к его компьютеру и подробно изложил ему свои взгляды на Вселенную.
— И что случилось? — напряженно спросил Форд.
— Он покончил жизнь самоубийством, — уныло сообщил Марвин и поплелся к «Золотому сердцу»

[schors]

Друзья мои, а куда вам написать поговорить за хостинг. Насчёт допустимости, крупности и так далее. А то мы тут уже отчаялись. Мне надо представляться?

[kukutz]

Представляться не надо. Напиши мне, адрес ты знаешь, я сведу тебя с правильным человеком.

[schors]

Сегодня странный день — начался он тем что я сидел и медитировал 2 часа на лежащий свой MX и поток спама который не переваривался в принципе, а закончился вдруг контактом :) Спасибо ;)

[borisko]

По сравнению с сапой роботы яндекса — милые детишки :)

[Usmekhaiouschiysia]

Да уж… 12 запросов в секунду — это 43 200 в час. В час пик такая посещаемость приходится на сайт с посещаемостью в 200-300к в день, не так уж много даже для одиночного сервера.

[mickolka]

Немного больше подумал над сутью данного разъяснения, мне кажется что мы уходим от сути проблемы, она совсем не в ненадежности нашего «не совсем хостинга».

1. Мы не хостинг в классическом понимании, мы скорее система создания сайтов, нечто подобное ucoz.ru или narod.ru но узко заточеное под сайты визитки компаний. Графа надежность хостинга (соглашусь с коментариями, что это странное оправдание, так как врядли бот парсил нашу таблицу) в uaprom.net/tour-4 означает только что у нах нормальное оборудование, хороший up-time и хорошая скорость отдачи (в случае обычных нагрузок). У нас и есть подобие IPS, но Яндекс бот был включен в список ботов которым наша IPS доверяет, поэтому он не был отсечен.

2. Для поддоменов вроде company.uaprom.net/robots.txt Crawl-delay Яндексу стоит в 5 сек, но даже это не поможет учитывая то, что их 15 000 (формально можно делать 3 000 запросов в секунду). Очевидно что тут нужно учитывать не субъективную надежность хостинга, а иметь обратную связь между скоростью индексации (на один IP) адреса и временем ответа, не смотря на Crawl-delay. Так как эти параметры объективно связаны, то это раз и навсегда избавит Яндекс от претензий вроде той что была предъявлена.

3. Нам очень хотелось чтобы также Яндекс позволил отдельно блокировать разные роботы, как это делают многие другие системы. Чтобы вполне логичное блокирование YandexSomething в случае некоректного его поведения не приводило к выпаданию сайта из индекса. Также хотелось бы услышать временную оценку того, когда наши сайты будут восстановлены в индексе из-за этой ошибки (до прежних значений количества страниц основных доменов).

4. Еще раз спасибо за публичный ответ, я думаю что несмотря на довольно негативный фон, из этой дискусии все стороны (и Яндекс и вебмастеры) могут извлечь выгоду если будут сделаны правильные выводы. Стоит отметить, что мы очень хорошо относимся к сервисам Яндекса и всячески интегрируемся с ними (Карты, Директ, РСЯ) так как они, по нашему мнению, действительно лучше аналогов.