Comments 12
А какие-нибудь плагины для браузера с подобным функционалом существуют?
Ну, как минимум режим «для чтения» safari позволяет просмотр
На некоторых сайтах отлично работает расширение подменяющее User-Agent на UA поискового робота, например Google. Тогда и новости становятся полностью доступны, и баннеры магическим образом исчезают.
У меня вот это установлено, но я не особо активный пользователь сайтов с пейволом, так что оценить эффективность не могу, так, изредка помогает.
Интересно, многие как и я подумали - "Отличная таска на выходные")
Определить, что на ресурс пришел белый поисковый робот из первой пятерки роботов (гугл эппл хуавей и тд) - задача весьма тривиальная, что ж это издатели так сэкономили на весьма тривиальной защите?
Часто помогает просто глянуть на сайт "глазами" робота поисковика:
Откройте в Chrome страницу сайта, которую хотите увидеть глазами поисковика.
Нажмите F12 или кликните правой кнопкой мыши и выберите «Посмотреть код».
Нажмите на три вертикальные точки → More tools → Network Conditions.
Внизу, в колонке с параметрами запроса вы увидите текущий user-agent.
Уберите галочку с опции «Использовать user-agent браузера по умолчанию».
Выберите user-agent поискового бота, нужного поисковика, например: Googlebot.
УсЁ!) И сразу чистый текст новости без всяких лишних картинок и рекламы
Я и говорю, тривиальную защиту от подмены UserAgent не ставят.
Наверное, это немного не так - они очень хотят, чтобы контент был проиндексирован и был как можно раньше в выдаче, но при этом при переходе на страницу срабатывал пейвол. Если блокировать поисковых ботов, то кто же будет приносить деньги?
Издатели новостей добились отключения разблокировщика платного доступа 12ft.io