Неожиданное попадание под адалт-фильтр Яндекса — отвоёвывание утраченных позиций (код ответа 404)!

    Приветствую вас, дамы и господа!

    Без квартала пять лет назад я создал проект Автотуристу.Ру, посвящённый, соответственно, автомобильным путешествиям и автомобильному туризму. За без малого 5 лет ресурс возмужал, стал узнаваем в интернете и по праву занял главенствующие позиции в поисковых системах по тематическим поисковым запросам, таким как «автопутешествия по европе», «автотуризм», «в грецию на машине» и многим прочим. Сейчас же я хочу остановиться лишь на ПС «Яндекс» — основной источник качественного поискового трафика для Автотуристу.Ру.

    Итак, на скриншоте ниже отображена динамика роста поискового трафика с Яндекса за крайние 2 года:



    Собственно, как видно из статистики, трафик с Яндекса динамично рос и растёт от года к году. Ура! Некая, как оказалось, иллюзорная стабильность присутствует. Но… Да-да, иллюзорная, поскольку ну не думал я, не гадал, что качественный сайт, на все 100% отвечающий своей тематике и нуждам посетителей, может быть репрессирован и поставлен под фильтр Яндекса! И, как следует из заголовка сего топика, под АДАЛТ-ФИЛЬТР, то есть расклассифицирован как сайт для взрослых. -) Но понял я это не сразу. Итак, что произошло.

    В один прекрасный момент (недели с две назад) вижу такой вот «чёрный квадрат»:



    Обильная шевелюра на моей голове зашевелилась в неистовстве: «Что это такое»? Пишу в службу поддержки веб-мастеров Яндекса, мол, что приключилось? Платон ответил, что на мой ресурс наложен тот самый «адалт-фильтр» по причине наличия на сайте «рекламы для взрослых». «Хмм-м, думаю, я! Вот те раз, вот жеж девки пляшут!». Из рекламы, которая ротируется на Автотуристу.Ру у меня имеется:

    — периодическая реклама прямых рекламодателей;
    — реклама Рекламной Сети Яндекса;
    — реклама Гугл ЭдСенс.

    Также у меня висели трафикообменные информеры MarketGid, RedTram и Novostimira. Тематики откручиваемых новостей в информерах: новости, туризм, правила ПДД, кулинария. Думаю: «Неужто из-за тизерок»? Убрал их. Тут же вспоминаю один интересный факт. Некоторое время назад сайт подвергся некоему подобию XSS-атаки, когда сайт «заливали» топиками с рекламой интимных услуг (а-ля «путана.цз»). С «дырой», позволяющей массово при помощи скрипта заливать БД этой дрянью выловили и пофиксили, топики, соответственно, потёр, но!.. Вспоминаю, что частенько в качестве поисковых запросов, по которым заходили люди на Автотуристу.Ру, выступали такие, как: «индивидуалки Санкт-Петербурга», «лучшие проститутки Краснодара» и прочие. Что такое? Да тэги! К каждому топику была «нарождена» куча спам-тэгов, которым я просто не уделил должного внимания. Тру тэги через БД, снова пишу в саппорт Яндекса, мол «А не это ли, всего скорей, причина наложения на сайт адалт-фильтра?». Ответ примерно такой, что: «Нет, не контент — причина, а именно реклама». Гуглю до посинения на тему «что есть адалт-фильтр и как вывести из-под него сайт». Нахожу кучу инфы о том, что оный фильтр часто накладывается из-за самой же РСЯ (!!!). То есть, если Вы — площадка, откручивающая блоки Яндекс.Директ и у Вас в настройках площадки не установлена настройка, запрещающая открутку «рекламы для взрослых» (тут я был удивлён, что по-default'у эта настройка была включена, хотя, по моему мнению, было бы куда логичнее, если бы по-умолчанию она была бы выключена), то Ваш сайт может попасть под соответствующий фильтр из-за собственной же рекламы! Ставлю галку в РСЯ, в ЭдСенсе, тизерки выключены, тэги — на 90% почищены. Раз «ап», два «ап», три «ап»…



    (с гугла трафик «уронил», скорее всего, когда игрался с закрытием страниц с тэгами в robots.txt).

    Но есть такие тэги, которые занимают неплохие позиции в ПС и как ВЧ запросы, и как НЧ, например: "На машине в Грецию". Думаю, что закрыть все тэги от индексации — не лучшее решение, поскольку, действительно, часть трафика потеряешь за зря. Мнения же на счёт концепции «закрывать тэги» или «не закрывать тэги» от индексации, судя по моим исследованиям, разнятся. Но, всё же, «колется» и закрывать всё не хочется. И тут один ооочень уважаемый на российском рынке SEO-услуг человек, мой друг, открывает мне глаза на следующее; в виду особенностей движка сайта тэги, которые физически вычищены из базы данных, тем не менее отображаются вот таким вот образом.

    А дело оказалось в простом: код ответа такой страницы был «200», а не «404». Соответственно, мой сайт очень неплохо «прокачался» по интимным запросам и, удали я даже все тэги из БД, ПС всё-равно видит такую страницу как наличествующую и индексирует её. Сегодня в настройках сервера поменяли настройки, код ответа — 404. Временно закрыл все тэги от индексации ботом Яндекса в robots.txt для ускорения переиндексации контента сайта. Теперь жду восстановления утраченных позиций.

    Надеюсь, что я всё сделал правильно (если нет, то был бы КРАЙНЕ РАД комментам, какие ещё действия предпринять для нормализации ситуации с выдачей Яндекса), и что, быть может, мой негативный опыт кому-то да окажется полезен. Ну, то есть, «скушал» сам — делюсь с товарищем-) Хорошей всем рабочей недели!
    Share post
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 25

      +3
      Любые ссылки на порносайты могут служить причиной санкций. В комментариях пользователей, в залитых дорвеях, где угодно.
      Надеюсь, у вас все получится после предпринятых действий, иначе нужно будет шерстить все внешние ссылки сайта на предмет плохих, а сайт у вас большой…
        0
        Мой сайт пытались таким образом убить. Ссылаясь с варезных, адалт и других ГС. Заметил это когда трафик попёр с разных не тематических ресурсов. Написал в Яндекс, мол кто-то пытается мой сайт заспамить. На что Яндекс ответил «Не волнуйтесь, всё подконтролем». В итоге спамеры разместили более 100.000 ссылок с разных ГС, только трафик мне прибавился)
          0
          Я опечатался в первом сообщении. Ссылки именно с вашего сайта должны быть.
            0
            У меня тоже была такая ситуация. Обнаруживал кучу ссылок с ГС по адалт тематике. Так и не понял тогда кому и зачем такая фигня была нужна. Только сейчас допер после вашего коммента.
          +5
          Описался — не внешние, а исходящие ссылки с сайта.
          У меня был случай следующего рода: сайт попал под санкции. Начал смотреть — ну все в порядке, никаких подозрительных ссылок нет. Начал перебирать уже все подряд — и нашел.
          Была ссылка на нормальный сайт, строительную фирму какую-то, поставлена была давно. Этот сайт строительной фирмы дропнулся, его зарегистрировали и подняли порносайт. И из-за этого мой сайт попал под санкции. После удаления ссылки и письма Яндексу из-под фильтра сайт вышел.
            +1
            Скорей всего вы действительно правы. Я так же сталкивался с подобным спамом адалт/софт/прочим по движку livestreet в личные/коллективные блоги. Яндекс вначале успешно «съедал» спамные страницы а позже заносил сайт под АГС или адалт-фильтр.
            Однако позже сайт сам выходил из под фильтра(в течении месяца).
              +12
              MarketGid и RedTram это ужас же абсолютный! Если вы дорожите пользователями — бросьте эту бяку с «сенсационными новостями».
                +2
                Имею привычку сразу закрывать сайт, если на нем обнаруживается подобная «реклама»
                +1
                Была такая же беда с форумом. Чистил старые темы (2005-2006 годов) от ботов с адалтом и перенес спорные взрослые темы в закрытый раздел. Через некоторое время фильтр снялся.
                  0
                    0
                    Не думаю, то что я переносил было с голыми фотками, обсуждениями подробности сексуальной жизни в деталях и т.д. )

                    А вспомнил, ещё был сделан автофильтр на мат и взрослую лексику, потомучто вручную почистить это из миллионов сообщений было почти невозможно. Думаю это могло быть одним из решающих факторов в итоге.
                  0
                  Не забывайте писать «Платонам» это ускорит процесс. Только старайтесь не использовать шаблонных выражений, чтобы на сообщение ответил реальный человек, а не робот.

                  Ну и yandex.ru/yandsearch?text=%D0%BF%D1%80%D0%BE%D1%81%D1%82%D0%B8%D1%82%D1%83%D1%82%D0%BA%D0%B8&lr=213&site=AvtoTuristu.ru

                  все несуществующие теги редиректите на 404, а то и окна сайт начнет продавать avtoturistu.ru/tag/%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC%20%D0%BE%D0%BA%D0%BD%D0%BE%20%D1%85%D0%BE%D1%80%D0%BE%D1%88%D0%B5%D0%B5/
                    +1
                    Так как раз сейчас там выдаётся 404 ошибка. Её внешне не видно, но код 404
                      0
                        0
                        По ссылке всего лишь рекомендация. Достаточно что бы страница отдавал заголовок 404 not found что бы робот ее не индексировал/выкинул из индекса. А как именно она оформлена на усмотрение вебмастера.
                          0
                          Это всё понятно. Помимо роботов у ПС есть асессоры, которые производят оценку сайтов по определенным критериям.
                          Я не знаю, включает ли 404 страница в список их проверок, но…
                            0
                            Пардон, объясните непонимающему…

                            Имеете ли в виду «заголовок» всмысле «title» или «код ответа» на уровне сервера? Иными словами, правильно ли у меня сейчас отображаются страницы с теми тэгами, которых нет в БД? (как в примере с окнами двумя комментами выше)

                            Спасибо!
                              +1
                              Для робота сканирующего и индексирующего ваш сайт важен (в данном случае) только «код ответа»
                              У вас правильно заголовки отдает: Status Code:404 Not Found
                                0
                                Спасибо большое!

                                … А, тем временем, очередной ап выдачи и, по прежнему, в индексе стомиллионов страниц /tag/* и фильтр( Это, выходит, ждать полной переиндексации в течение какого-то весьмааа продолжительного времени, никак иначе? Попробую сегодня написать еще в саппорт с мольбой о снятии фильтра… Есть смысл в письме оный топик тут указать? -)
                                  0
                                  Вряд ли он удалит все злосчастные теги в ближайшие апы. Т.к. для этого робот должен на них зайти. Можно прогнать скриптом все нежелательные теги по webmaster.yandex.ru/delurl.xml. Либо (мне кажется предпочтительней) закрыть в robots.txt специально от Яндекса раздел /tag/.
                                  Насчет писать/не писать ссылаться/не ссылаться на топик — это уж вы сами решайте.
                                    0
                                    Угу. Но в robots.txt тэги закрыты уже порядка недели…
                                    +1
                                    Сделайте, чтобы несуществующие теги редиректило на главную, это гораздо ускорит процесс вылета страниц из индекса.

                                    Да и при 404 не должно быть разного контента, любая проверка покажет, что там про проституток, уберите вывод несуществующих тегов в заголовок и тело страницы.
                                      0
                                      О, спасибо, «тема». Попробуем так-)
                        0
                        С Яндексом вообще беда. Один их «Ты последний» чего стоит.
                        Я как то озадачился заменой салонного фильтра у себя в авто. Полез в интернет — инфы нет. Разобрался сам, все сфоткал выложил себе в блог. Народ попер из ПС именно на эту статью. И в Яндексе и в Гугле была на первом месте. Потом какой то мчудак спер текст с фотками слегка отрерайтил и выложил у себя. Все Яндекс меня выкинул на 100500-ю страницу. Оно мне конечно пофиг — я не ради сео-профита выкладывал, но случай показательный.
                        Проблема в том, что у Яндекса монопольное положение на отечественном рынке ПС. И все это усугубляется советскими методами управления. Которые сводятся к тому что бы срубить по быстрому с директа сейчас, а потом хоть трава не расти.
                        Я не оправдываю сеошников, но есть люди со своими pet-project такие как, например, автор данной заметки. И вот как раз нам больше всего и попадает палок в колеса, потому что сеошники все равно выкрутятся, а простым вебмастерам часто не хватает квалификации и времени разобраться в хитросплетениях козней Яндекса.
                          0
                          Но в данном случае, описанном в статье автора, Яндекс не при чем — у автора куча страниц с тегами с «взрослой» тематикой. Тут вины и произвола поисковика нет и все логично с его стороны.

                        Only users with full accounts can post comments. Log in, please.