Разработчики Google на мероприятии Google Search Central Live в Сингапуре рассказали, что по их расчётам, аналитике и сканированию сети около 60% Интернета дублируется. По большей части это относится к копиям настроек и информации о пользователях в разных версиях сайтов и облачных системах многочисленных сервисов в мировой глобальной сети.
Разработчики Google предложили несколько способов борьбы с текущей дедупликацией данных в интернете.
- удалить дубликаты протоколов и отдать предпочтение HTTPS;
- удалить www/non-www;
- удалить URL-адреса с бесполезными параметрами (идентификаторами сеанса);
- удалить варианты URL-адресов с косой чертой/без косой черты;
- удалить другие дубликаты с одинаковой контрольной суммой (Google сравнивает контрольную сумму, сгенерированную из основного контента. Если две пары контрольных сумм совпадают, они дублируются).
В Google считают, что выполнение вышеперечисленные действий поможет лучше оптимизировать ресурсы в глобальной сети и сделать работу поисковых систем более информативной и корректной.
