1. да, большая часть новостей — переводная, кстати потому что _во всем мире_ больше новостей чем в русскоговорящей его части.
2. на главной хабра 100% найдется оригинальный контент, а выбранная для анализа статья — очевидный перевод, откуда кроме как из англоязычного инета может происходить новость о новом сервисе на UK гугле?
Вообще, тут у вас немного все перепутано:
User-agent: Yandex — секция для яндекса
User-agent: * — секция для всех кроме гугла
User-agent: Google — секция для гугла
И это именно так… Гугл не матчит звездочку в поле юзер агента…
И важная штука про Disallow — в значении этого поля не может быть символов подстановки
И директивы Allow не существует…
Картинке не кликаются:
XML Parsing Error: not well-formed
по теме — наверное стоит хранить полную историю версий с авторами изменений
+ кто будет отслеживать, оригинален ли размещенный материал, т.е. кто-то может запостить чужой материал, который распространяется не по свободно-коммерческой лицензии?
то есть отключеним?) один конкретный оператор перестанет принимать на него смс и потеряет миллионы баксов в год?))) тысячи людей и ооо перестанут пердоставлять свои услсги за смс на этот номер (значит будут принимать на др, более дорогой… хз), а у миллионов их клиетнов будут перебои с работой сервиса из-за смены номера?) (смс агрегаторы тож кое-что потеряют))
Кстати на счет индексации — если есть задача индексировать эти страницы, то могут возникнуть проблемы. Дело в том что для поисковика контент страниц будет меняться, и он будет считать их новыми, постоянно переиндксируюя. Проблема появится когда будет достигнут лимит «новых» страниц (исходя из эмпирического посыла — за раз робот забирает с сайта конечное число новых страниц), которые по сути старые, и начнут выпадать страницы с большими номерами.
Мне нравиться.
2. на главной хабра 100% найдется оригинальный контент, а выбранная для анализа статья — очевидный перевод, откуда кроме как из англоязычного инета может происходить новость о новом сервисе на UK гугле?
User-agent: Yandex — секция для яндекса
User-agent: * — секция для всех кроме гугла
User-agent: Google — секция для гугла
И это именно так… Гугл не матчит звездочку в поле юзер агента…
И важная штука про Disallow — в значении этого поля не может быть символов подстановки
И директивы Allow не существует…
А где происходит создание src поля для тега img который вставляется в текст?
В коннекторе
define('DIR_IMAGES', '/storage/images');
а в текст вставляется img src="../storage/images/image.jpg"
Как сделать относительно корня адресацию?
XML Parsing Error: not well-formed
по теме — наверное стоит хранить полную историю версий с авторами изменений
+ кто будет отслеживать, оригинален ли размещенный материал, т.е. кто-то может запостить чужой материал, который распространяется не по свободно-коммерческой лицензии?