Тут не все так однозначно. Если посмотреть справку Гугла, то там сказано: "Этот файл (это про роботс — прим.) не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex". Тем не менее ваш совет прописать «Disallow: /» применять не хотим). Но то, что в индекс "просачиваются" некоторые страницы, запрещенные в роботс, то это бывает. В контексте этого, скорее всего, корректней говорить именно о правилах сканирования, нежели индексации. Хотя для реальной практики это не столь важно)
спасибо за уточнение, вы правы. В robots.txt устанавливаются правила посещения разделов сайта роботами. Не просканируют — не проиндексируют. Это в идеале. Хотя на практике robots.txt отрабатывает не на 100%
По данным исследования, тег keywords заполнен примерно на трети сайтов. Конечно, можно и отсюда парсить. Функция =IMPORTXML("URL";"//keywords") справится с этим без проблем. Но на практике тут особо нечем поживиться в плане НЧ запросов — чаще здесь прописывают более общие ключи, нежели интересные с хвостами. Хотя способ имеет право на жизнь, почему нет)
Вы имеете в виду URL вида https://www.site.ru/kids-home/?zbs_content=main_page_teasers_781264? В этом случае используйте знак & между get-параметрами. Если мы правильно вас поняли, то вы все делаете верно. В любом случае корректность разметки можно проверить в системах аналитики — учитывается трафик, значит все ок.
Вы судите с позиции вебмастера — и понять вас можно.
Но сайты создаются не ради скорости и не ради чистоты кода. Их создают (зачастую), чтобы заработать денег. Да, с помощью логов вы отследите посещаемость, время на сайте и даже страну пользователя. И это хорошо.
А как же достижение целей, структура аудитории (возраст, пол, интересы?), источники трафика (например, по тем же UTM меткам), пути конверсии и многое другое?
Одними логами тут не обойтись.
А по поводу вреда кода Яндекс.Метрики или Гугл Аналитики — знаете, это как муха на теле слона))
Практически на любом сайте (особенно если дело касается интернет-магазинов) столько тормозящих загрузку моментов, что одна строчка кода погоды не сыграет. Если сомневаетесь, посмотрите наше исследование скорости загрузки топовых интернет-магазинов РФ https://habr.com/ru/company/promopult/blog/470604/
Резюмируем известной польской поговоркой: co za dużo to niezdrowo.
Бороться за чистоту кода важно, но не всегда это уместно, а иногда даже вредно.
В статье как раз исследуются лейблы изображений, занимающих ТОП выдачи по картинкам, так что можно говорить о некой корреляции между информативностью картинки и местом в выдаче.
Если проскролить интерактивные графики по ссылкам в статье глубже, можно увидеть: чем ниже в ТОПе картинка, тем меньше лейблов смог поставить на ней Гугл. Это вроде как подтверждает тезис о связи тегирования и ранжирования)
Директива all означает, что нет ограничений на индексирование страницы, ссылок на ней и показ контента. То же самое при совместном использовании директив index,follow. То есть разницы нет. Более того, если вы не хотите задавать ограничения при индексировании страницы, то прописывать отдельно директивы all или index,follow нет смысла — поисковик по умолчанию следует им. А вот если нужно что-то ограничить — тогда уже используем nofollow, noindex. О возможных ситуациях, когда эти атрибуты полезны, вы можете почитать в нашем блоге https://blog.promopult.ru/seo/4-sluchaya-ispolzovaniya-noindex-i-nofollow.html
Обратите внимание на webpagetest.org и gtmetrix.com — и сравните полезность и функционал с сабжем.
Тут важно понимать контекст. webpagetest.org и gtmetrix.com — это инструменты для разработчиков, перед которыми стоит конкретная задача — ускорить загрузку сайта. PSI — это инструмент оптимизатора/маркетолога [заметьте, в каких разделах Хабра опубликована статья], который отвечает за продвижение сайта в поиске и хочет узнать, как Google оценивает его скорость. На практике это выглядит так: оптимизатор анализирует сайт с помощью PSI и ставит задачу разработчику — "вот тут бы надо подкрутить". Разработчик уже пользуется более функциональными инструментами.
Вывод: проделанная вами работа по автоматизации просто бесполезна ибо ненужна :)
Это субъективно. В статье описан способ работы с конкретным инструментом — PSI. И только вам решать, полезен он вам или нет. В нашей практике PSI не раз помогал быстро найти "узкие места" на сайте.
Тут не все так однозначно. Если посмотреть справку Гугла, то там сказано: "Этот файл (это про роботс — прим.) не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex". Тем не менее ваш совет прописать «Disallow: /» применять не хотим). Но то, что в индекс "просачиваются" некоторые страницы, запрещенные в роботс, то это бывает. В контексте этого, скорее всего, корректней говорить именно о правилах сканирования, нежели индексации. Хотя для реальной практики это не столь важно)
да, спасибо, исправили)
спасибо за уточнение, вы правы. В robots.txt устанавливаются правила посещения разделов сайта роботами. Не просканируют — не проиндексируют. Это в идеале. Хотя на практике robots.txt отрабатывает не на 100%
Какой именно функционал инструмента вас интересует? Конкретизируйте, чтобы мы могли ответить
И правильно делаете, что автоматизируете. Что тут еще добавить)
По данным исследования, тег keywords заполнен примерно на трети сайтов. Конечно, можно и отсюда парсить. Функция =IMPORTXML("URL";"//keywords") справится с этим без проблем. Но на практике тут особо нечем поживиться в плане НЧ запросов — чаще здесь прописывают более общие ключи, нежели интересные с хвостами. Хотя способ имеет право на жизнь, почему нет)
Вы имеете в виду URL вида https://www.site.ru/kids-home/?zbs_content=main_page_teasers_781264? В этом случае используйте знак & между get-параметрами. Если мы правильно вас поняли, то вы все делаете верно. В любом случае корректность разметки можно проверить в системах аналитики — учитывается трафик, значит все ок.
И вам спасибо, что читаете нас)
В тексте есть же совет.
)
Спасибо за отзыв. Только не дает покоя ваше "в остальном все правильно". То есть в чем-то мы не правы. Уточните, пожалуйста, в чем именно.
Спасибо за комментарий.
Вы судите с позиции вебмастера — и понять вас можно.
Но сайты создаются не ради скорости и не ради чистоты кода. Их создают (зачастую), чтобы заработать денег. Да, с помощью логов вы отследите посещаемость, время на сайте и даже страну пользователя. И это хорошо.
А как же достижение целей, структура аудитории (возраст, пол, интересы?), источники трафика (например, по тем же UTM меткам), пути конверсии и многое другое?
Одними логами тут не обойтись.
А по поводу вреда кода Яндекс.Метрики или Гугл Аналитики — знаете, это как муха на теле слона))
Практически на любом сайте (особенно если дело касается интернет-магазинов) столько тормозящих загрузку моментов, что одна строчка кода погоды не сыграет. Если сомневаетесь, посмотрите наше исследование скорости загрузки топовых интернет-магазинов РФ https://habr.com/ru/company/promopult/blog/470604/
Резюмируем известной польской поговоркой: co za dużo to niezdrowo.
Бороться за чистоту кода важно, но не всегда это уместно, а иногда даже вредно.
Спасибо)
Мы старались.
В статье как раз исследуются лейблы изображений, занимающих ТОП выдачи по картинкам, так что можно говорить о некой корреляции между информативностью картинки и местом в выдаче.
Если проскролить интерактивные графики по ссылкам в статье глубже, можно увидеть: чем ниже в ТОПе картинка, тем меньше лейблов смог поставить на ней Гугл. Это вроде как подтверждает тезис о связи тегирования и ранжирования)
Директива all означает, что нет ограничений на индексирование страницы, ссылок на ней и показ контента. То же самое при совместном использовании директив index,follow. То есть разницы нет. Более того, если вы не хотите задавать ограничения при индексировании страницы, то прописывать отдельно директивы all или index,follow нет смысла — поисковик по умолчанию следует им. А вот если нужно что-то ограничить — тогда уже используем nofollow, noindex. О возможных ситуациях, когда эти атрибуты полезны, вы можете почитать в нашем блоге https://blog.promopult.ru/seo/4-sluchaya-ispolzovaniya-noindex-i-nofollow.html
Спасибо за замечание. Развернули мысль про общий и частный случай определения языка в тексте.
Судя по результатам исследования, вы не одиноки — вместе с вами ленится 90% вебмастеров)
И вам спасибо, что читаете нас)
Спасибо, интересно, посмотрим.
Тут важно понимать контекст. webpagetest.org и gtmetrix.com — это инструменты для разработчиков, перед которыми стоит конкретная задача — ускорить загрузку сайта. PSI — это инструмент оптимизатора/маркетолога [заметьте, в каких разделах Хабра опубликована статья], который отвечает за продвижение сайта в поиске и хочет узнать, как Google оценивает его скорость. На практике это выглядит так: оптимизатор анализирует сайт с помощью PSI и ставит задачу разработчику — "вот тут бы надо подкрутить". Разработчик уже пользуется более функциональными инструментами.
Это субъективно. В статье описан способ работы с конкретным инструментом — PSI. И только вам решать, полезен он вам или нет. В нашей практике PSI не раз помогал быстро найти "узкие места" на сайте.