Comments 75
Теперь рядом с каждой формой каптча будет
Да интересно получится... Бот будет накручивать голоса в голосовалках, сабмитить формы например в вики со случайным текстом и подобным поведением способствовать замусориванию интернета. Я думаю что Гугле должны это понимать, посему интересно что они предприймут чтобы этого избежать... Надеюсь не придется делать для всех форм в инете дополнительный параметр noindex.
Я думаю в Google что-либо припримут по этому поводу. Все-таки не дураки разрабатывают систему.
Задача краулера получить качественную информацию. Качественная информация - информация чистая. Хороший краулер не должне вносить изменений в индексируюмую информацию. Уверен, что разработчики Google это понимают.
UFO just landed and posted this here
UFO just landed and posted this here
я напишу гостевуху с GET-формой и засужу гугл за флуд >.<
Не засудите, на их стороне спецификация HTTP запрещающая изменять что-то с помощью GET, это так называемы "safe" метод, он должен работать только на отдачу ничего не меняя.
Они уже предприняли, паук работает только с GET, а в спецификации HTTP по этому поводу есть такой абзац:
In particular, the convention has been established that the GET and
HEAD methods SHOULD NOT have the significance of taking an action
other than retrieval. These methods ought to be considered "safe".
Так что нужно исправлять сайты, если где-то GET используется не по назначению.
PS: Пошел проверять свои, и ведь знал же, а делал, блин, пока гром не грянет...
In particular, the convention has been established that the GET and
HEAD methods SHOULD NOT have the significance of taking an action
other than retrieval. These methods ought to be considered "safe".
Так что нужно исправлять сайты, если где-то GET используется не по назначению.
PS: Пошел проверять свои, и ведь знал же, а делал, блин, пока гром не грянет...
'noindex' - это для Яндекса.
а для Гугла придётся ставить 'nofollow'.
а для Гугла придётся ставить 'nofollow'.
UFO just landed and posted this here
С пол года назад заметил, что Гугл пользуется внутренним поиском по сайту (каталог товаров)... причём ищет товары, которых как правило нет на сайте, т.е. он подбирает слова не с этого же сайта, но соответствующие тематике! Тогда я так и не понял зачем ему это...
так допустим эти самые базы данных открыты к всеобщему доступу только в определенные часы (как некоторые базы на сайте Консультант+), если гугл их проиндексирует и будет показывать в своем кеше в любое время насколько это будет честно со стороны гугла?
Консультант+ может запросто запретить индексацию баз данных гуглоботом, изменив robots.txt. Что-нибудь вроде:
User-agent: *
Disallow: /secret_data_bases
User-agent: *
Disallow: /secret_data_bases
А вдруг Гугл наплюет неа robots.txt? Или уже так делает?
Кто мешает Гуглу при поисковой индексации выдавать себя за человека?
Кто мешает Гуглу при поисковой индексации выдавать себя за человека?
Почему это вопрос ко мне?
Ну ведь это вы написали, что можно отключать "индексацию баз данных гуглоботом, изменив robots.txt"???
именно так. Потому что Гугл следует спецификации robots.txt
Совесть :)
Надеюсь, Гугль не будет запускать одновременно по сотне процессов на поиск... иначе он задосит половину интернета, ведь часто поисковая форма самая "тормозная" на сайте.
UFO just landed and posted this here
нагрузка на базу большая может получиться.
Ну, как..
Вообще поиск - обычно алгоритм не самый тривиальный и рессурсоёмкий.
Хотябы форумы, когда начинаются проблемы с производительностью - первым делом отключают поиск.
Вообще поиск - обычно алгоритм не самый тривиальный и рессурсоёмкий.
Хотябы форумы, когда начинаются проблемы с производительностью - первым делом отключают поиск.
Полностью согласен, что в данном случае могут быть действительно большие нагрузки. А если это понравится еще и другим роботам, будет не гуд. Хотя вероятно что такие роботы существуют и без гугла, так как информация, которую они могут получить, весьма серьезная, глупо было бы отказываться от такого пласта информации.
UFO just landed and posted this here
UFO just landed and posted this here
Ну при чем тут сразу "..кодеры"???
Вот например, есть список "чего-либо" с постраничной разбивкой: закеширован (не суть важно как или мемкеш, или плайн-текст) и есть еще рядом форма, которая позволяет "фильтровать" этот список так скажите, будет же больше значительно загрузка если:
а) 1 000 человек смотрят просто список и из них 1 00 юзайт фильтр по 1-3 запроса за "сессию"
б) приперся Гугл-паук "и давай" сабмитить в фильтр по 1 000 вариантов запросов и сравнивать результаты "вдруг там есть че новое"...???
А если это взять и увидеть в масштабе многих разделов сайта, а если не одного сайта, а скажем 1 000 000 сайтов?
Все-равно "нагрузка" будет расти и ресурсоемкость повышаться соотв.
Вот например, есть список "чего-либо" с постраничной разбивкой: закеширован (не суть важно как или мемкеш, или плайн-текст) и есть еще рядом форма, которая позволяет "фильтровать" этот список так скажите, будет же больше значительно загрузка если:
а) 1 000 человек смотрят просто список и из них 1 00 юзайт фильтр по 1-3 запроса за "сессию"
б) приперся Гугл-паук "и давай" сабмитить в фильтр по 1 000 вариантов запросов и сравнивать результаты "вдруг там есть че новое"...???
А если это взять и увидеть в масштабе многих разделов сайта, а если не одного сайта, а скажем 1 000 000 сайтов?
Все-равно "нагрузка" будет расти и ресурсоемкость повышаться соотв.
UFO just landed and posted this here
И первое и второе не показания к смене деятельности (недостаток ква-ии решает опыт приобретаемый годами, время и силы так же меняемые во времени категории). Показания к смене деятельности иные, но не об этом речь.
Прекрасно понимаю вашу точку зрения на то, что "гугло-бот" не особо и напрягет сайты масштабных проектов, но давайте будем реалистами в мире тонны сайтов которые работают так, как работают и сделаны так, как сделаны!
Я же спорю с вами, что нагрузка будет сумасшедшей и не пытаюсь доказывать, что такие действия Гугла могут быть ужасно опасными, но то, что они добавят много трафика и нагрузок на сервера(сайты, осбенно на вирт. хостингах) и еще не ясно как себя все это поведет это точно.
Прекрасно понимаю вашу точку зрения на то, что "гугло-бот" не особо и напрягет сайты масштабных проектов, но давайте будем реалистами в мире тонны сайтов которые работают так, как работают и сделаны так, как сделаны!
Я же спорю с вами, что нагрузка будет сумасшедшей и не пытаюсь доказывать, что такие действия Гугла могут быть ужасно опасными, но то, что они добавят много трафика и нагрузок на сервера(сайты, осбенно на вирт. хостингах) и еще не ясно как себя все это поведет это точно.
Если будет так, то это просто ненавязчивый намек на то, что нужно пользоваться поиском от Гугла.
Индексация делается довольно мягко - буквально сегодня пытался разобраться откуда гугль нарыл ссылок на форму поиска :), оказывается вот оно как - если верить логам, переодичность - 1 запрос в 2 секунды
Ахтунг, гугль будет буртфорсить мои проекты? :)
Что-бы удалить свой аккаунт, поставте галочку и нажмите кнопку «удалить аккаунт»
Спасибо, что пользовались услугами нашего сайта.
Спасибо, что пользовались услугами нашего сайта.
краулер это по-русски гуглбот7
Мда. А комменты мусорные оно тоже будет постить? Ведь это тоже формочка.
Будет забавно, если гуглу удастся проиндексировать половину запароленных страниц используя словарь из десятка слов =)
Следующими этапами, видимо, будут взлом капчей, регистрация гуглобота на блогах-форумах и создание запрошенного поисковиком контента на лету :)
UFO just landed and posted this here
Crawling в русской транслитерации будет скорее "крОулинг".
За статью - спасибо!
За статью - спасибо!
Нет, это просто тормознутость какае-то... 2008 год... и только "додуматься" до этого.
Когда я ваял своего паучка по сбору новостей линков на новости, мне в голову сразу такая мысль пришла, но это было в 2000 году то.
И большой сложности с технической реализацией там особо нет, тем более для такой софтверно-инетовской компании как гугл, которую я кстати очень уважаю. Просто не понятны причины... скорее всего как всегда ошибка отдела маркетинга. На гребне успеха хватало и того что есть... Теперь когда ms хочет купить yahoo начал шевелится отдел маркетинга...:)
Когда я ваял своего паучка по сбору новостей линков на новости, мне в голову сразу такая мысль пришла, но это было в 2000 году то.
И большой сложности с технической реализацией там особо нет, тем более для такой софтверно-инетовской компании как гугл, которую я кстати очень уважаю. Просто не понятны причины... скорее всего как всегда ошибка отдела маркетинга. На гребне успеха хватало и того что есть... Теперь когда ms хочет купить yahoo начал шевелится отдел маркетинга...:)
Господа, скажите мне, если я прав.
Прочитав изложенное, вырисовалась следующая картина: гуглобот сканит "невидимую" сеть. После этого я задаю запрос в поисковике и он дает мне результаты. Проходя по ссылкам которых мне постоянно будет предлагаться зарегистрироваться. Так или нет? Ведь, как написано выше, закрытая формами информация составляет 90% содержимого глобальной сети.
Прочитав изложенное, вырисовалась следующая картина: гуглобот сканит "невидимую" сеть. После этого я задаю запрос в поисковике и он дает мне результаты. Проходя по ссылкам которых мне постоянно будет предлагаться зарегистрироваться. Так или нет? Ведь, как написано выше, закрытая формами информация составляет 90% содержимого глобальной сети.
Sign up to leave a comment.
Google пытается проиндексировать Невидимую Сеть