Комментарии 28
Советов не будет, я не спец в данной теме, но вот читаю с точки зрения "обычного юзера", и что вижу:
Был некий сайт, возможно с интересными статьями (опять же, не моя тема - но кому-то интересными). На которые где-то кто-то, возможно, ссылался (на форумах, не путать с соцсетями, так делают).
В ходе погони за трафиком старые статьи поудаляли (т.е. зайдя поиском в какую-то тему я могу найти ссылку, ведущую в никуда - "тот сайт умер").
Также статьи попропадали у тех, кто их спёр и потом удалил - понимаю, трафик-монетизация, но я со своей, юзерской точки зрения, "почитать хотел".
Позапрещены боты, значит если кто-то где-то тянул информацию - теперь ее не будет тянуть, т.е. распространение остановлено, и получить ее можно только на этом сайте (трафик, монетизация, да - но сайт в поисковике не ищется, т.е. информация просто пропала)
Ну как-то это грустно. Напомнило ощущения, как недавно искал интересную уже мне информацию, нашел обсуждения на одном форуме аж за 2012 год, куча ссылок на подробности - и почти все битые, тех сайтов давно нет, или всё удалено, или "домен продается". Кладбище, полуразрушенные памятники прошлого, про которые все забыли...
Да, у меня часто похожие впечатления.
По поводу 404 ошибок на старых статьях - их было минимум, т.к. я выключал статьи и новости, которые никем не посещались за последний квартал (максимум 5 заходов). Т.е с этой точки зрения ущерб невелик.
Насчет запрета ботов - полностью их запретить крайне сложно. Не уверен, что нои тащили контент, скорее ПФ накручивали.
Не в тему, но позабавило)
А касаемо самого сайта - он неплохой, интересный, авторский. Однако конкуренции довольно популярным сайтам вряд ли составит. При этом в выдаче поисковика мелькают сайты вроде appleinsider, где половина статей - реклама, половина - написано ИИ, читать неинтересно вообще. Ваш сайт в выдаче попался только на шестой странице (в пример брал обзор планшета), причем контекстно должен быть максимум на второй, ибо большинство ссылок - это именно покупка, а не обзор.
Вероятно, следует поработать именно над рекламой, однако если это авторский блог - будет ли от неё смысл?
Открыл первую попавшуюся статью на сайте и сразу возник вопрос. Уверены что очень длинный рекламный блок между концом статьи и комментариями полезен для ваших читателей? То есть чисто по длине страницы контента сильно меньше чем рекламы. А насчёт Гугла отдельно рекомендую прочитать их инструкцию для асессоров, там много про то какой контент гугл считает полезным
Сократил рекламу говоришь. Я зашёл на рандомную статью с мобилы, 50 объявлений от Яши. ПЯТЬДЕСЯТ Ахаха:) Контент в мобильной версии занимает от силы 15-20% страницы, остальное реклама.
Бро, подскажи сколько у тебя было до сокращения рекламы тогда?
Ленту РСЯ заменил на компактный блок, хоть и уверен, что дело не в нём)
Вячеслав, вы написали что установили защиту от ботов, каких конкретно ? И что за защита если не секрет ?
Сразу скажу про сео знаю мало, но почему бы 1. Не ограничить кол-во запросов с одного ip? 2. Сделать белый список ботов. 3. Запретить юзер агенты не похожие на браузер. 4. Перейти на обратный прокси, блокировки производить на нем.
Rate limit подбирается методом проб, завист от кол-ва запросов и сложности сайта, можно воткнуть для ботов tarpit чтоб ответ им не сразу приходил о превышенном кол-ве запросов.
Явных ботов можно автоматом вносить в чёрный список например на 5д, через fail2ban, и блочить ещё начальном этапе соединения, снижая нагрузку на сайт. Перекладывая её на обратный прокси.
4. подключить WAF.
Покопай в сторону карты сайта. Ее расхождение с реальностью (на сайте страница закрыта, в карте открыта или наоборот) может вводить бота в ступор. Имхо, карта - зло. Лучше выкини совсем.
Переход на https может влиять нехорошо при не верно настроенных редиректах. Старые ссылки, у робота в глазах двоится и страницы вылетают в просканированное, но не проиндексированное.
И да с рекламой перегнул, факт
Вячеслав, разделяю твою печаль, т.к имею аналогичную ситуацию на своих сайтах. Имхо, весь трафик ушел трасту - сайтам из белого списка. Не все в него верят, но факты говорят о том, что он есть. Сейчас для власти крайне важно контролировать мнения на посещаемых ресурсах и гораздо проще отдать трафик проверенным 500-1000 доменам, чем проверять сайты каждого блогера. В пользу этой теории говорит и то, что в яндексе ранжирование работает отвратительно, вверху всегда траст, даже если там не встречается поисковый запрос. Поюс ещё многие факторы, например нейро, который сильно срезал трафик на сайтах. Я постоянно общаюсь в среде вебмастеров, у всех подобная ситуация. Так что исправлять свой сайт бесполезно.
24 февраля Яндекс выкинул многие сайты, откинул в выдаче далеко, и мой, и сайты конкурентов. Теперь заходя в выдачу по тем запросам, по которым ранжирования мой сайт, я не вижу релевантных ответов в топе. Считаю работу над сайтом - бессмысленной. Лишь мониторю ситуацию, жду, когда все вернется, как было.
И нет тут никаких скрытых смыслов - Яндекс решил и выкинул нормальные сайты из справедливого ранжирования. Поставил англоязычные, дорвеи и трастовые с нерелевантными ответами. Отсюда вывод «развивать сайт» считаю нелогичным.
Ладно бы во мне говорила обида, что мой сайт убрали, но сайты конкурентов, на которых была актуальная информация, тоже попали под раздачу.
Грустно это. Что планируете дальше делать с такими сайтами?
Они не вернут как было, что наши, что западные компании хотят запихнуть людей в инфо-пузыри, только те - через нейросети и алгоритмы соцсетей, а наши через утвержденные сверху сайты с "правильным" контентом. Короче, мы так далеко не уедем с этими ****
UPD. Яндекс традиционно вернул треть от прошлого трафика. Интересные ребята
Как я пытаюсь восстановить трафик сайта после падения на 90%: ошибки и уроки