• «От хорошего к великому» — книга, которую обязательно стоит прочесть. (в цитатах) — ЧАСТЬ 1
    0
    Это не тот случай. Коллинс не лоховод вроде некоторых. Да и не пишет он рекомендации, он просто пытается научными методами понять что позволяет компаниям достичь выдающихся результатов. Почитайте книгу и все станет ясно.
    Кроме того сама книга наверняка входит в список топ-100 самых прибыльных книг в мире, что символизирует неординарность коллектива работавшего над ней.
  • «От хорошего к великому» — книга, которую обязательно стоит прочесть. (в цитатах) — ЧАСТЬ 1
    +1
    Автор ученый и он сделал реально две супер книжки, и неплохо на этом заработал. Но безусловно больше на его труде заработают те, кто эти книги прочитает и применит в бизнесе.
    Не у всех цель войти в Форчун 500, есть люди которые прутся от того, что делают уникальную и полезную работу.
  • 301: число позора
    –1
    Осилил коментарии, мой вердикт.
    Гер Новиков — попуститесь, Ваша ненависть к Яндексу и Вазу неадекватна их легкой убогости. Было бы все в наших странах как Яндекс.
    Яндекс — не позорьтесь почините 301-й редирект, мы сами уже 2 месяца ждем пока наш ruprom.net склеят с tiu.ru (я не боюсь, я знаю что вы не мстительные). И вообще исправьте процедуру переезда сайта, приведя ее к виду www.google.com/support/webmasters/bin/answer.py?answer=83105&hl=ru (верю, что вас уже достало тыканье в то как это сделано у гугля, но местами оно того стоит сделать также).
  • Робот Яндекса учитывает пожелания
    +1
    Вы не поверите, но нас вчера добавили в Яндекс.Каталог, оба сайта, бесплатно. Мир не без добрых людей :)
  • Робот Яндекса учитывает пожелания
    –1
    Немного больше подумал над сутью данного разъяснения, мне кажется что мы уходим от сути проблемы, она совсем не в ненадежности нашего «не совсем хостинга».

    1. Мы не хостинг в классическом понимании, мы скорее система создания сайтов, нечто подобное ucoz.ru или narod.ru но узко заточеное под сайты визитки компаний. Графа надежность хостинга (соглашусь с коментариями, что это странное оправдание, так как врядли бот парсил нашу таблицу) в uaprom.net/tour-4 означает только что у нах нормальное оборудование, хороший up-time и хорошая скорость отдачи (в случае обычных нагрузок). У нас и есть подобие IPS, но Яндекс бот был включен в список ботов которым наша IPS доверяет, поэтому он не был отсечен.

    2. Для поддоменов вроде company.uaprom.net/robots.txt Crawl-delay Яндексу стоит в 5 сек, но даже это не поможет учитывая то, что их 15 000 (формально можно делать 3 000 запросов в секунду). Очевидно что тут нужно учитывать не субъективную надежность хостинга, а иметь обратную связь между скоростью индексации (на один IP) адреса и временем ответа, не смотря на Crawl-delay. Так как эти параметры объективно связаны, то это раз и навсегда избавит Яндекс от претензий вроде той что была предъявлена.

    3. Нам очень хотелось чтобы также Яндекс позволил отдельно блокировать разные роботы, как это делают многие другие системы. Чтобы вполне логичное блокирование YandexSomething в случае некоректного его поведения не приводило к выпаданию сайта из индекса. Также хотелось бы услышать временную оценку того, когда наши сайты будут восстановлены в индексе из-за этой ошибки (до прежних значений количества страниц основных доменов).

    4. Еще раз спасибо за публичный ответ, я думаю что несмотря на довольно негативный фон, из этой дискусии все стороны (и Яндекс и вебмастеры) могут извлечь выгоду если будут сделаны правильные выводы. Стоит отметить, что мы очень хорошо относимся к сервисам Яндекса и всячески интегрируемся с ними (Карты, Директ, РСЯ) так как они, по нашему мнению, действительно лучше аналогов.

  • Пожелания Яндексу
    0
    повторюсь, но мы решаем проблемы по мере их поступления, Яндекс генерировал тогда очень тяжелые запросы, кажется к sitemap.xml файлам (их 15 000 для всех поддоменов) которые генерируются раз в неделю динамически, и это их вина что они не учитывают время ответа.
  • Робот Яндекса учитывает пожелания
    +2
    Прозволю себе продублировать ответ на коментарий habrahabr.ru/blogs/yandex/62609/#comment_1735999 в этом посте

    Александр, спасибо за детальный ответ, нам очень приятно, что компания Яндекс конструктивно отвечает на конструктивные пожелания.

    Я описывал ниже суть проблемы из которой было ясно что поддоменов много. Мы действительно пока не всегда готовы к нагрузке 12 запросов в секунду, так как у нас нормальной является нагрузка 2-3 запроса в пике, эту проблему мы постараемся решить с помощью nginx и ограничении количества запросов с одного IP в секунду. Стоит отметить что количество страниц в индексе (сумарно менее 200 000 страниц) не требует индексации со скоростью 12 запросов в секунду, тем более учитвая что есть актуальный sitemap с коректными last-modified датами для всех поддоменов. Google индексирует нас со скоростью 1-2 запроса в секунду сумарно и мы очень довольны качеством и актуальностью его индекса.

    В связи с этим, особенно хотелось бы пожелать Вам исполнить последние два пожелания, это был бы качественный шаг.

    Надеюсь, что выпадние из индекса из-за блокирования 7 дней YandexSomething временно и скоро разрешится, хотя пока за 5 дней прогрес только в том что скачались sitemap и главная.
  • Пожелания Яндексу
    0
    Александр, спасибо за детальный отчет, нам очень приятно, что компания Яндекс конструктивно отвечает на конструктивные пожелания.

    Я описывал ниже суть проблемы из которой было ясно что поддоменов много. Мы действительно пока не всегда готовы к нагрузке 12 запросов в секунду, так как у нас нормальной является нагрузка 2-3 запроса в пике, эту проблему мы постараемся решить с помощью nginx и ограничении количества запросов с одного IP в секунду. Стоит отметить что количество страниц в индексе (сумарно менее 200 000 страниц) не требует индексации со скоростью 12 запросов в секунду, тем более учитвая что есть актуальный sitemap с коректными last-modified датами для всех поддоменов. Google индексирует нас со скоростью 1-2 запроса в секунду сумарно и мы очень довольны качеством и актуальностью его индекса.

    В связи с этим, особенно хотелось бы пожелать Вам исполнить последние два пожелания, это был бы качественный шаг.

    Надеюсь, что выпадние из индекса из-за блокирования 7 дней YandexSomething временно и скоро разрешится, хотя пока за 5 дней прогрес только в том что скачались sitemap и главная.

  • Пожелания Яндексу
    0
    К сожалению, у вас классический случай, я слышал подобное от блогеров не раз. Почему так происходит, непонятно, ведь массу других блогов ничем не особо не лучше и не хуже Яндекс индексирует. Может здесь есть какая-то случайная величина, или рядом хостится дорвей, или не нравится домен? Ответ на это могут дать только специалисты писавшие алгоритм работы робота.
  • Пожелания Яндексу
    0
    ну Google же умеет, думаю там не надо быть телепатом просто оценивать время ответа и не создавать десятки соединений паралельно. Google индексирует страниц столько же, но их в индексе в 3 раза больше и делает это он регулярно а не набрасывается как бешеный и уходит.
  • Пожелания Яндексу
    +1
    кстати, действительно, что им мешает отслеживать по дате модификации, которую мы правильно ставим? Можно прератить это в еще одно пожелание, наряду со скачиванием sitemap чаще чем раз в месяц.
  • Пожелания Яндексу
    0
    да, правда ему месяца 3 потребовалось на то чтобы это сделать, мы даже вроде и не меняли ничего, я мудма это глюк Вебмасера, или он просто не хотел читать ссылки с файла.
  • Пожелания Яндексу
    0
    в случае Яндекса можно сделать валидацию сайта по аналогии как это сделано в инструментах вебмастера, без этого только писать в службу поддержки и надеться что им это надоест и они подкрутят функционал. Но вообще странно, легко ведь починить.
  • Пожелания Яндексу
    +1
    аск :) uaprom.net/sitemap.xml более 130 000 адресов, 6 файлов
  • Пожелания Яндексу
    0
    sitemap есть, со всеми страничками, не помогает, может отдельно делать sitemap с недавним контентом?
  • Пожелания Яндексу
    +1
    боюсь что кроме вас эта акция никому не интересна, интернет это бизнес.
  • Пожелания Яндексу
    –1
    ну это забанит вообще все роботы, лучше так не делать :)
  • Пожелания Яндексу
    +2
    ну это совсем просто :)

    User-agent: Yandex
    Disallow: /

    только стоит ли

  • Пожелания Яндексу
    0
    пул есть но он не безразмерный (именно он и переполняется кстати), главную кешируем и основные трудозатратные запросы также. Просто с DoSом бороться невозможно, только административными мерами, вроде лимита соединений.
  • Пожелания Яндексу
    0
    ну мы постоянно работаем над этим, просто решаем проблему по мере поступления, докупаем оборудование, оптимизируем код. Да и пользователей есть немало, просто не 12 запросов в секунду динамики а 2-3 в среднем в пике но тоже неплохо.
  • Пожелания Яндексу
    –2
    нет ну я за вас рад, но нам не надо 4 тыс/секунду ну ни как, нет у нас столько пользователей пока что, а покупать дополнительно сервера, чтобы выдерживать атаки Яндекса это тупиковый ход, так как ресурсы Яндекса однозначно побольше наших.
  • Пожелания Яндексу
    0
    не сработает для YandexBlog и YandexSomething (лучше $http_user_agent ~ Yandex*) но в целом идея.
    Кстати, а помешает ли это ему создавать одновременно 100 соединений, каждый из которых приводит к соединению с базой, что приводит к смерти пула?
  • Пожелания Яндексу
    0
    ну прочитает это рядовой работник службы поддержки, ну ответит что-то стандартное, что от этого глобально изменится, а так есть шанс что кто-то заметит и постарается что-то сделать для того чтобы подобные вещи исправить (да я наивный и верю в чудеса :)). По крайней мере, если бы о моем сервисе такое написали я был бы благодарен и сделал бы все возможное чтобы воплотить улучшения в жизнь
  • Пожелания Яндексу
    –1
    12 в секунду, это скорость отдачи, сайт «ложился» от переполнения пула соединений с базой, так что видимо одновременно там было побольше запросов. Ну а по поводу должен/не должен. Сайт должен справляться с обычными нагрузками, с запасом, 12 запросов в секунду (не статика а динамический контент) это пока, к сожалению, для нас слишком ненормальная нагрузка, нормальная это 2-3.
    В сторону limit_zone, limit_req_zone уже смотрим спасибо за совет.
  • Пожелания Яндексу
    0
    повезло вам, но у нас совсем другой случай, по крайней мере в российской версии сайта, здесь без Яндекса мы никуда :(
  • Пожелания Яндексу
    +3
    «Будьте как Google» это не конструктивно, просто приводился пример другой системы которая, на мой взгляд, более правильно отрабатывает некоторые моменты.
  • Пожелания Яндексу
    0
    Например? Возможно бы отпала вторая проблема, но нужно было бы читать довольно внимательно, кроме того думаю было бы правильно позволить запрещать отдельно YandexBlog или YandexSomething учитывая их, порою черезмерный аппетит.
  • Пожелания Яндексу
    +18
    ну так давайте поможем ему стать лучше, другого пути нет, пользователи свой выбор сделали.
  • Дайте мне работать!
    +6
    В гугл нанимают людей которые умеют совмещать в себе кулибина с таджиком, прагматичных программистов которые понимают цели проекта.
  • Повесть о том, как Иван Иванович с Иваном Никифоровичем инвестиции искали
    0
    да это его было кодовое название :), вобщем как корабль вы назовете так он и поплывет.
  • Повесть о том, как Иван Иванович с Иваном Никифоровичем инвестиции искали. Часть 2
    0
    а может людей кризис чему-то научит?
  • Повесть о том, как Иван Иванович с Иваном Никифоровичем инвестиции искали. Часть 2
    +2
    лучше кино, неплохая драма выдет
  • Повесть о том, как Иван Иванович с Иваном Никифоровичем инвестиции искали. Часть 2
    0
    Отличная история. Вообще странные эти фонды, давать деньги под макет и презентацию, наверное больше так никогда не будет.
  • Повесть о том, как Иван Иванович с Иваном Никифоровичем инвестиции искали
    0
    мы тоже пытались создать что-то типа Яндекс.Маректа только в Украине, от идеи остался только домен на память eshop.ua. Сейчас считаю, что хорошо, что не полезли на этот весьма перегретый рынок.
  • Осторожно! Бегун списывает деньги с остановленных кампаний
    0
    А что ссылка в твиттере на статью на хабре уже приравнивается к разжиганию межнациональной розни? Я сомневаюсь что хотябы 10% проголосовавших за статью пришли именно по ссылке из моего твиттера.
    А сказать я хочу, что компания которая оперирует немалыми денежными средствами своих клиентов должна заботиться о своей системе на порядок больше чем это делает Бегун. Ни с Гуглом ни с Яндексом с которыми мы также работаем по контекстной рекламе больше года подобных проблем не возникало. Все понятно, все удобно и деньги никуда не исчезают.
    А писать про такое в саппорт действительно бестолку, они просто завалены мелкими проблемами клиентов и врядли докопаются до сути за разумное время.
  • Осторожно! Бегун списывает деньги с остановленных кампаний
    +4
    Знаете, я наверное один из лидеров по количеству писем в саппорт Бегуна за год среди частных клиентов (десятка два минимум), проблем это сильно не решает. Менять надо что-то в консерватории. Доля рынка Бегуна не сопоставима с качеством сервиса.
  • Осторожно! Бегун списывает деньги с остановленных кампаний
    +1
    не стоит минусовать человека, он во многом прав, но к сожалению предложенная им стратегия не применима к общению со многими нашими сервис-провайдерами. Я честно много раз пытался в случае с Бегуном. Мне кажется, что что-то серьезное должно случиться, чтобы они изменили свое отношение к обслуживанию рекламодателей.
  • Осторожно! Бегун списывает деньги с остановленных кампаний
    0
    Ну тогда это вообще вопиющая дичь, то есть они завели меня в глубокий минус, а потом решили его компенсировать, когда я остановил кампанию подмухлевав статистику за дни когда кампания была вообще остановлена (20-21 она уже была остановлена)?
  • Осторожно! Бегун списывает деньги с остановленных кампаний
    –1
    Ну а что я могу еще сделать? Написать в саппорт и ждать очередного некомпетентного ответа (я это сделал просто не стал ждать ответа), или просто молча удалить кампанию и надеяться что в этом случае деньги перестанут исчезать. Или забить на них? Но у Бегуна большая доля рынка и нам важно с ними работать, не критично, но хотелось бы.
  • Осторожно! Бегун списывает деньги с остановленных кампаний
    0
    странно, вы сообщили им это в службу поддержки и если да то какова была реакция и объяснения? В нашем случае деньги списывались не на порядок быстрее чем раньше так что думаю это проблема другого рода.