Google: около 60% интернета дублируется, но есть способ этого избежать

[Zauberer]

Вы URLы дедуплицировать собрались? У нас URLы уже стали дефицитным ресурсом, который надо экономить? Почему URLы приравнены к "Интернету"?

[ganzmavag]

Может заголовок некорректный. Но эти www, например, реально какой-то костыль сейчас. Как бы чаще всего ты получишь тот же сайт, но не всегда.

[Iv38]

С точки зрения гугла это проблема, краулерам надо же это всё обходить и склеивать. Вот они и хотят упростить себе жизнь. Но просто рекомендациями они не отделаются, без репрессивных мер вроде пессимизации в поиске никто не почешется.

[nitro80]

Зато, как только Гугл начнёт отдавать предпочтение тем URL, которые соответствуют их пониманию, вебмастеры сразу начнут наводить порядок

[akurilov]

IPFS, не?

[darkdaskin]

Я уж было подумал, что собираются решать проблему клонов StackOverflow и прочего подобного мусора, но увы.

[IGR2014]

Мы с вами лет через десять сюда зайдём обсудить что этих клонов стало ещё больше, к сожалению...

[Faraon28]

Ну так пускай поисковики отдают предпочтение https сайтам без всяких www, и хостеры сами поубирают у себя лишнее и пойдут по рекомендациям, делов то

[nitro80]

А хостерам это зачем и какая польза? У них задача абсолютно другая же

[1dNDN]

Время модератора на фильтрацию по субъективной оценке полезности (а как оценивать будем?) гораздо дороже, чем цена дисков. Плюс репутационные потери.

А от дубликатов (предполагаю) избавляются дедупликацией