Новый краулер Yahoo
1 мин
Вслед за апгрейдом Google свой поисковый краулер обновила также поисковая система Yahoo. Здесь обновления более масштабные, новый краулер получил имя Yahoo! Slurp 3.0 и такой же статус user-agent (Yahoo! Slurp/3.0). На команды к старому user-agent “Slurp/2.0” новый робот уже не будет реагировать, зато будет отзываться на общее короткое обращение “Slurp” сообщается в корпоративном блоге.
Как понятно из названия, это краулер третьего поколения. Впрочем, компания не стремится разглашать информацию о том, в чём его конкретные отличия от предыдущей версии. Она только предупреждает всех аналитиков, которые отслеживают поведение поисковых ботов, о том, чтобы они внесли соответствующие коррективы, поскольку Slurp 3.0 будет вести себя иначе. В частности, программа будет запускаться с гораздо меньшего набора IP-адресов, хотя все они по-прежнему будут соответствовать домену crawl.yahoo.net (вся техническая информация здесь). Для точной идентификации краулера компания настоятельно рекомендует использовать способ обратной проверки DNS, потому что старые IP-адреса скоро исчезнут из логов.
Как понятно из названия, это краулер третьего поколения. Впрочем, компания не стремится разглашать информацию о том, в чём его конкретные отличия от предыдущей версии. Она только предупреждает всех аналитиков, которые отслеживают поведение поисковых ботов, о том, чтобы они внесли соответствующие коррективы, поскольку Slurp 3.0 будет вести себя иначе. В частности, программа будет запускаться с гораздо меньшего набора IP-адресов, хотя все они по-прежнему будут соответствовать домену crawl.yahoo.net (вся техническая информация здесь). Для точной идентификации краулера компания настоятельно рекомендует использовать способ обратной проверки DNS, потому что старые IP-адреса скоро исчезнут из логов.



Вот уже недели две, как любопытные пользователи рунета могут наблюдать полностью русскоязычный 
Наверное кто-то обратил внимание, что вместо бокового баннера на главной Хабра появилось второе облако тегов. Тегов там конечно меньше, чем мы привыкли видеть, но зато облачко интерактивное. То есть, при клике по любому из них оно перестроится и покажет новые теги, которые тесно связаны с «кликнутым». 


