Там, где останавливаются боты

[GogA]

Интересная статья, большая работа.
Только дочитав до конца понял почему нет яндекса в списке, а жаль..

[CurlyBrace]

согласен. был бы очень кстати. особенно сейчас, когда он так мило непредсказуем.

[klyavin]

нет Яндекса, потому что это перевод.

[CurlyBrace]

Только дочитав до конца понял почему нет яндекса в списке, а жаль..

Если человек понял, то зачем еще раз обьяснять?

[klyavin]

Упс... действительно так, мне надо внимательней читать. Мои извинения.

[rojer]

думаю, что для гугла реальная цифра всё-таки 512, а для MSN - 1024 кб.

[CurlyBrace]

ну в бинарном плане может вы и правы :)

[Power]

Вы бы перенесли это в профильный блог, например, в Поисковая оптимизация, статья-то хорошая, располагает к размышлениям.

[CurlyBrace]

Не подскажете как это сделать?

[CurlyBrace]

спасибо, разобрался сам.

[Rulez]

к каким?

[CurlyBrace]

Действительно, что тут думать - работать надо! (с) не помню
:)

[zerkms]

переводчику следует более внимательно относиться к оформлению текста и орфографии, опечатки и ошибки режут глаза
статья как эсперимент - забавная. но не более.

[CurlyBrace]

буду рад исправить ошибки если укажете на них.

[zerkms]

Вопрос в том, нАСколько...
НАСколько я знаю...
До сегодняшних пор (звучит криво, поменять на что-либо более удобочитаемое вроде "До сих пор")
чесать голову в попытках понять_,_ что
опытным путем_,_ моими
Определить обЪем текста
Вычислить обЪем индексируемого
ввел уникальные, нЕСуществующие
специально для эксперимента_,_ и служили
опубликованы_,_ и я пошел
НАКонец-то
Важно заметить_,_ что
экспериментов_,_ и содержат
совсем нЕЖеланная
убедился в том_,_ что
осталось сделать _-_ это проверить
страницы _ по каждому
Как вы наверноЕ
скачЕННого (вот тут я очень сомневаюсь правда ;) )
Но в тО Же самое
в выдаче Google Присутствуют
Самое главное_,_ что он индексирует
нЕСмотря на то_,_ что MSN
Казалось_,_ что если размер
меня думать_,_ что скорость
Сиречь (сомневаюсь, что в IT статье есть место для этого слова ;) )
Получается_,_ что это плохо_:_ располагать на своем сайте тексты
Если текста будет больше_,_ чем
а тот лимит_,_ где

ps: да, я понимаю, что в большинстве ошибки пунктуационные, но тем не менее... ;)

[CurlyBrace]

спасибо за внимательность, исправил.

[zerkms]

если что - извиняюсь за нудность ;)

[CurlyBrace]

Да ну, что вы, я же сам попросил. :) Люблю грамотно писать.

[elvit]

СкачАнного. Суффикс -ать переходит в -анн-, суффикс -ить - в -енн-. Там какие-то исключения были, но "скачать" к ним точно не относится.

[zerkms]

мерси
а если говорить "скач(е|а)но"? е?

[CurlyBrace]

проверочное слово скачАл :)

[zerkms]

* посыпает голову пеплом ;)

[CurlyBrace]

:)

[elvit]

Неважно, как говорить, важно, от какого глагола образуется. "Скачано" от "скачать"; "скачено".. не знаю... скорее всего, от "скатить". Скаченный в трубочку ковер.

[zerkms]

тогда уж "скатанный" ? ;)

[elvit]

Да. Разумеется. Торможу. :)

[CurlyBrace]

Слить :)

[glukki]

Скаченный вниз с холма автомобиль :)

[CurlyBrace]

Нее :) Максимум что можно сделать - это столкнуть :) Дальше он уж сам, скатывать его не придется :)

[glukki]

Так ведь силой притяжения :D

[bendingunit22]

Еще бы расстояние между абзацами уменьшить.
Статья интересная, спасибо.

[CurlyBrace]

Пришлось все теги абзацев покромсать и юзать <br/%gt;

Дефолтные стили Хабрахабра немного странные.

[CurlyBrace]

блин. <br/>

[XacretT]

хм, статья хороша,но, по сути, это палево темы.
тоесть такие исследования обычно остаются закрытыми, т.к.реальный их вес огромен. также не стоит забывать,что в тройке сидят умные люди (ну по крайней мере более способные зарабатывать деньги,чем мы), и глубина просмотра бота наверняка управляется при помощи одной переменной в его среде/коде/конфиг-файле.

но все-равно спасибо!

[CurlyBrace]

Думаю что глубина сканирования зависит еще от многих факторов, которые в меньшей мере поддаются внешнему анализу. Это может зависить от вместительности серверов того или иного дата-центра, с которого пришел бот, да много еще от чего.

Но по поводу палева темы соглашусь :) Если тема станет популярной, алгоритмы быстро изменятся, и все. Очередь нового эксперимента.

[zerkms]

с другой стороны - методика укрывания информации - типично российская модель ведения бизнеса

[CurlyBrace]

Ну а поисковики вобще не любят делиться секретами :)

[Morozov]

Я думаю, глубина сканирования может еще серьезно зависить от самого сайта. Например его PR.

[CurlyBrace]

в тесте все страницы, судя по котексту, не имели никакой ценности для поисковиков. Возможно если бы у всех страниц был другой/разный page rank то ирезультаты могли бы быть другими. Но пропала бы чистота эксперимента.

[monk]

спасибо что не поленились провести эксперимент и поделились инфой

[CurlyBrace]

Да ну что вы, я всего лишь переводил и делился :) Автор статьи Serge Bondar - Search Engine Indexing Limit: Where Do the Bots Stop.

В последнем абзаце указан.

[Aldekein]

полезно. спасибо. учту)