Google пытается проиндексировать Невидимую Сеть

[@Bobos]

Теперь рядом с каждой формой каптча будет

[@koct9i]

скоро это тоже перестанет быть проблемой =)

[@dharbari]

Пока есть всемогущий robots.txt - капча не будет такой уж повсеместной.

[@PART]

Пока robots.txt всемогущий...

[@dmitriy_b]

Да интересно получится... Бот будет накручивать голоса в голосовалках, сабмитить формы например в вики со случайным текстом и подобным поведением способствовать замусориванию интернета. Я думаю что Гугле должны это понимать, посему интересно что они предприймут чтобы этого избежать... Надеюсь не придется делать для всех форм в инете дополнительный параметр noindex.

[@gerziorrim]

Я думаю в Google что-либо припримут по этому поводу. Все-таки не дураки разрабатывают систему.

[@ScREW]

Задача краулера получить качественную информацию. Качественная информация - информация чистая. Хороший краулер не должне вносить изменений в индексируюмую информацию. Уверен, что разработчики Google это понимают.

[@MadGreen]

Краулеры пока не научились отличать качественную информацию от некачественной)))

[@ScREW]

Факт. :)

[@mirritil]

[@mirritil]

[@diamant]

[@Infthi]

я напишу гостевуху с GET-формой и засужу гугл за флуд >.<

[@Jenek]

Не засудите, на их стороне спецификация HTTP запрещающая изменять что-то с помощью GET, это так называемы "safe" метод, он должен работать только на отдачу ничего не меняя.

[@metanol]

Можно подробнее, что за "safe" метод?
Для примера: действующая форма, скажем, на PHP, получила переменные в $_GET или $_POST - откуда существующий скрипт будет знать, что это не добавлять в базу надо, а гугл перебирает?

[@metanol]

Стоп. Сначала написал, потом подумал. С каментом ниже все понятно, прошу извинить.

[@Jenek]

Они уже предприняли, паук работает только с GET, а в спецификации HTTP по этому поводу есть такой абзац:
In particular, the convention has been established that the GET and
HEAD methods SHOULD NOT have the significance of taking an action
other than retrieval. These methods ought to be considered "safe".

Так что нужно исправлять сайты, если где-то GET используется не по назначению.

PS: Пошел проверять свои, и ведь знал же, а делал, блин, пока гром не грянет...

[@egorinsk]

Расскажите это Дурову

[@ski88er]

'noindex' - это для Яндекса.
а для Гугла придётся ставить 'nofollow'.

[@svolot4]

С пол года назад заметил, что Гугл пользуется внутренним поиском по сайту (каталог товаров)... причём ищет товары, которых как правило нет на сайте, т.е. он подбирает слова не с этого же сайта, но соответствующие тематике! Тогда я так и не понял зачем ему это...

[@hlomzik]

у вас на сайте нет страницы со списком последних поисковых запросов?
реферер еще посмотрите, он тоже может помочь понять гугл ;)

[@svolot4]

Страницы со списком последних запросов нет. Да и запросы явно "нечеловеческие", видно что ботом каким-нибудь составлены (правда довольно грамотно составлены).

[@diamant]

[@grokinn]

так допустим эти самые базы данных открыты к всеобщему доступу только в определенные часы (как некоторые базы на сайте Консультант+), если гугл их проиндексирует и будет показывать в своем кеше в любое время насколько это будет честно со стороны гугла?

[@krasin]

Консультант+ может запросто запретить индексацию баз данных гуглоботом, изменив robots.txt. Что-нибудь вроде:
User-agent: *
Disallow: /secret_data_bases

[@Yeah]

А вдруг Гугл наплюет неа robots.txt? Или уже так делает?
Кто мешает Гуглу при поисковой индексации выдавать себя за человека?

[@krasin]

Почему это вопрос ко мне?

[@Yeah]

Ну ведь это вы написали, что можно отключать "индексацию баз данных гуглоботом, изменив robots.txt"???

[@krasin]

именно так. Потому что Гугл следует спецификации robots.txt

[@krasin]

т.е. я ответил про реальную, а не про теоретические возможности.

[@Yeah]

[@Yeah]

[@Yeah]

Хабр глючит...
Я хотел сказать, что вы не можете наверняка утверждать, что Гугл будет использовать эту же спецификацию при индексации Невидимой сети. Уж слишком высока цена вопроса.

[@ivlis]

Совесть :)

[@fog]

Надеюсь, Гугль не будет запускать одновременно по сотне процессов на поиск... иначе он задосит половину интернета, ведь часто поисковая форма самая "тормозная" на сайте.

[@Infthi]

нагрузка на базу большая может получиться.

[@fog]

Ну, как..

Вообще поиск - обычно алгоритм не самый тривиальный и рессурсоёмкий.

Хотябы форумы, когда начинаются проблемы с производительностью - первым делом отключают поиск.

[@starosta]

Полностью согласен, что в данном случае могут быть действительно большие нагрузки. А если это понравится еще и другим роботам, будет не гуд. Хотя вероятно что такие роботы существуют и без гугла, так как информация, которую они могут получить, весьма серьезная, глупо было бы отказываться от такого пласта информации.

[@silverwind]

Ну при чем тут сразу "..кодеры"???

Вот например, есть список "чего-либо" с постраничной разбивкой: закеширован (не суть важно как или мемкеш, или плайн-текст) и есть еще рядом форма, которая позволяет "фильтровать" этот список — так скажите, будет же больше значительно загрузка если:

а) 1 000 человек смотрят просто список и из них 1 00 юзайт фильтр по 1-3 запроса за "сессию"
б) приперся Гугл-паук "и давай" сабмитить в фильтр по 1 000 вариантов запросов и сравнивать результаты — "вдруг там есть че новое"...???

А если это взять и увидеть в масштабе многих разделов сайта, а если не одного сайта, а скажем 1 000 000 сайтов?

Все-равно "нагрузка" будет расти и ресурсоемкость повышаться соотв.

[@silverwind]

И первое и второе не показания к смене деятельности (недостаток ква-ии решает опыт приобретаемый годами, время и силы так же меняемые во времени категории). Показания к смене деятельности иные, но не об этом речь.

Прекрасно понимаю вашу точку зрения на то, что "гугло-бот" не особо и напрягет сайты масштабных проектов, но давайте будем реалистами — в мире тонны сайтов которые работают так, как работают и сделаны так, как сделаны!

Я же спорю с вами, что нагрузка будет сумасшедшей и не пытаюсь доказывать, что такие действия Гугла могут быть ужасно опасными, но то, что они добавят много трафика и нагрузок на сервера(сайты, осбенно на вирт. хостингах) и еще не ясно как себя все это поведет — это точно.

[@silverwind]

Сори, Игорь: в 3-м абзаце менно должно быть "НЕ спорю"! ;

[@atomicxp]

И таких замечу большинство.

[@Jenek]

Если будет так, то это просто ненавязчивый намек на то, что нужно пользоваться поиском от Гугла.

[@vodjanoj]

Индексация делается довольно мягко - буквально сегодня пытался разобраться откуда гугль нарыл ссылок на форму поиска :), оказывается вот оно как - если верить логам, переодичность - 1 запрос в 2 секунды

[@mirritil]

[@VPK]

Ахтунг, гугль будет буртфорсить мои проекты? :)

[@homm]

Что-бы удалить свой аккаунт, поставте галочку и нажмите кнопку «удалить аккаунт»

Спасибо, что пользовались услугами нашего сайта.

[@landau]

краулер это по-русски гуглбот7

[@hlomzik]

crawler — червяк, от crawl — ползать

[@bolk]

Мда. А комменты мусорные оно тоже будет постить? Ведь это тоже формочка.

[@Habitat]

Ждём на башорге, цитаты by Google! )))

[@someone]

Будет забавно, если гуглу удастся проиндексировать половину запароленных страниц используя словарь из десятка слов =)

[@zooh]

Следующими этапами, видимо, будут взлом капчей, регистрация гуглобота на блогах-форумах и создание запрошенного поисковиком контента на лету :)

[@homm]

Откуда мне знать, что Вы не гугл-бот?

[@Jake]

А разве в его ответе есть слова из этой страницы? )

[@silverwind]

Так, половина слов его ответа с этой страницы, только в разных падежах, Гугл же умеет уже склонять слова ;-)

[@silverwind]

К сожелению не знаком ни с XPlanner ни с этой историей, но с трудом представляю как ссылки на удаление какого-либо контента сайта можно выставлять на сайте в открытом виде (не закрытом аутенфикацией и т.п.)

[@Joshua]

Crawling в русской транслитерации будет скорее "крОулинг".
За статью - спасибо!

[@maxic]

Нет, это просто тормознутость какае-то... 2008 год... и только "додуматься" до этого.
Когда я ваял своего паучка по сбору новостей линков на новости, мне в голову сразу такая мысль пришла, но это было в 2000 году то.
И большой сложности с технической реализацией там особо нет, тем более для такой софтверно-инетовской компании как гугл, которую я кстати очень уважаю. Просто не понятны причины... скорее всего как всегда ошибка отдела маркетинга. На гребне успеха хватало и того что есть... Теперь когда ms хочет купить yahoo начал шевелится отдел маркетинга...:)

[@siteinside]

Господа, скажите мне, если я прав.
Прочитав изложенное, вырисовалась следующая картина: гуглобот сканит "невидимую" сеть. После этого я задаю запрос в поисковике и он дает мне результаты. Проходя по ссылкам которых мне постоянно будет предлагаться зарегистрироваться. Так или нет? Ведь, как написано выше, закрытая формами информация составляет 90% содержимого глобальной сети.