Закрываем зеркало сайта от индексации правильно

[antivir]

У вашего способа есть один недостаток: у меня есть продвигаемый клиентский сайт, на котором robots.txt не запрашивался Яндексом уже месяца 4…

[AndyGray]

webmaster.yandex.ru/

[ferym]

В данной статье больше указывается как делать не надо, и один из многих способов как сделать правильно.

Люди заходившие на домен-зеркало видели 404, информацию о том что страница не существует и закрывали вкладку. И о какой целевой аудитории после такого тут может идти речь?

[ilyaerin]

Ахаха) Не так давно тоже бился с криво руками сеошниками. Дополню ваш рассказ еще одним идиотизмом. Вся информация на том сайте находилась в БД + есть удобная админка для этого. Так они в файле шаблона «шапки» для всех страниц сайта сделали огромный php массив с залоговками всех страниц, и по урлу страницы выдавали нужным им title. Где-то так: $title['product/525'] = 'Товар 525 | компания рога и копыта'];

[ilyaerin]

Криворукими, сорри, это айпад исправил.

[antivir]

Оригинально. Надо отменить, что способ дешевый, быстрый и практичный :)
Избавляет от разбирательств с различными CMS.

[Agel_Nash]

Еще раз убеждаюсь, что сеошник должен работать в паре с программистом, чтобы не изобретать подобных велосипедов. Сам сталкивался с подобными перлами. Хотя в боевой обстановке совсем не до смеха…

[ferym]

а я еще раз убеждаюсь что всё меньше сеошников работающих на качество, а не на количество клиентов, которые долго не держутся.

Если делать качественно — то будут и рекомендации, и люди еще вернутся, и меньше гемора себе в дальнейшем, и другим людям работающим после сеошников.

[wilelf]

Нормальный продвигатор просто попросит контакты программиста и объяснит суть задачи. Пусть каждый занимается своим делом.

По поводу доступов к ftp: многие разработчики подстраховываются (и правильно!) и в договоре указывают: берете доступ — гарантии слетают.

[VolCh]

Можно более мягко. Не совпадают скрипты/бинарники с образцом/репом, диффы что-то показывают — негарантийный случай. С репами вообще удобно — сразу видно где что меняли. Если только хостинг клиентский, то архив туда залить с исходниками.

[inkvizitor68sl]

proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Host $somesite.ru;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass some_ip_there:81;

[inkvizitor68sl]

proxy_set_header Host somesite.ru;
то есть.

[deniamnet]

Так о ком всё-таки речь? :)

[sshz]

> Создаю файл robots.php, и пишу туда следующее

А это конечно не индусский код, комбоджийский наверное :)

Правильным решением и с точки зрения посетителей и с точки зрения продвижения, здесь было бы сделать переадресацию с.рф домена на основной .ru домен, приемущества:

1. Все посетители попадают на сайт с одним и тем же .ru адресом, даже если набрали.рф адрес в браузере. Организация или магазин у которого два разных названия это не хорошо.

2. Поисковики однозначно понимают, что сайт один и находится он на .ru домене.

Сеошники однозначно не правы, правильным вариантом было бы привлечь вашу студию для внесения изменений, если уж сами не могут разобраться.

[Hoorsh]

Вот-вот. Для чего городить еще один костыль — robots.php, если можно поставить 301 редирект средствами сервера. А в корень сайта положить обычный robots.txt, где прописать Host: domain.ru. Таким способом произойдет также передача PR и ТИЦ, если, конечно, эти показатели ненулевые на домене.РФ

[ferym]

301 первый редирект не подходит. Клиент хочет что бы к сайту было прикреплено было 2 домена, и оба были доступны. Что бы люди лазили и по ru и по рф.

[Hoorsh]

Что значит к сайту прикреплено? Домены в любом случае будут привязаны к серверу клиента. Просто сервер при обращении по домену РФ будет заменять кириллический домен на латинский. Клиенты сейчас есть такие, которые не знают даже, что такое адресная строка, не говоря уже о том, что они будут обращать внимание на неё. Так что сдается мне или вы выдумали про желание клиента, или не смогли доходчиво объяснить, что зоопарк из отделенных друг от друга алиасов держать нехорошо. У нас есть клиенты, у которых и по 7-8 доменов (в виде номера телефона, ловушки опечаток, с дефисом и без и т.д.) и все они редиректятся на один главный.

[ferym]

задача такова, что он не хочет что бы редиректилось. хочет что бы было именно 2 домена, но один сайт. и что бы можно было без редиректор лазить и по domain.ru и по домен.рф

[antivir]

Привлечь студию — за это, им возможно, деньги придется платить, студия может не согласиться делать для них работу бесплатно.

[sshz]

Студия не должна это делать бесплатно, а у сеошников в бюджет в любом случае должны быть заложенны необходимые правки сайта, не зависимо от того, кто их будет делать.

[Murz]

Полную переадресацию с 301 редиректом делать не айс, т.к. это яндексу запудрит мозги, он не сможет добраться до robots.txt и правильно поклеить новый домен со старым. Поэтому лучше на все страницы кроме /robots.txt ставить 301 редирект на старый домен, а /robots.txt отдавать без редиректов, со строкой
Host: domain.ru

[Borka]

Угадай SEO-конторку по их действиям. Кто сталкивался, тот сразу поймет о ком речь.

[Negoro]

Сразу догадался про кого речь. Мой знакомый «почтиклиент» доверился этим монстрам, в результате сайт под фильтром, знакомый этот рвет волосы на голове, судиться — время терять, исправлять — аналогично. Ну и деньги потеряны естественно.

[onthefly]

Очень похоже на «Демис», сталкивался с ними — в статье описан их стиль работы до мелочей.

Больше всего запомнилось, как они почти три недели убеждали клиента, что навигационное меню «на джаваскрипте» — это «плохо для оптимизации». Меня просили прокомментировать их рекомендации и я неоднократно обращал внимание, что это меню сделано на чистом css и js там не используется вообще. Они на эти замечания реагировали одинаково — «там есть javascript, это плохо».

Не буду утомлять другими подобными историями, но у меня сложилось стойкое впечатление, что там работают специалисты крайне невысокой квалификации.

[jack7277]

Мы с одной конторой прекратили договор, они отключили нам хостинг оригинальным методом — грохнули все днс записи. Легла почта, лег доступ к 1с по доменному имени, легли сайты естесственно. Не поленились 3 января всё напакостить.

[sshz]

Надеюсь затребуете с них много денег через суд

[jack7277]

А смысл? ну не работала почта 3 дня с 3 января да и черт с ними, доступ к 1с дал по прямому ip, сайты поднял, МХ записи обновил по памяти, все всё равно бухали в праздники. Осадок остался от такого отношения, балбесы лупили по 30к руб /мес за 2 вордпресс сайта, хорошо успел до нг бекапы сделать, заглянул внутрь ужаснулся, вордпресс не обновляли, плагины не обновляли, бекап на скл баз не было. Такие вот в НН потрясающие порно-студии.

[jack7277]

Стал сомневаться что это были они.
5 января взял у хостинг-центра хостинг для переезда, мне по мозгам ездили-ездили и дали только 10 января, сегодня, сбросив опять все днс записи. Я высрал кирпичей на домик.
Вот думаю в первый раз не они ли мне доброе дело 3 января сделали.
Сил моих нет, все умнее меня днс мои же крутить.

[sshz]

Ну и на них в суд тоже можно :)

[alexmay]

Автору (да и другим, наверное, тоже): если все косяки объективны (то есть не выдуманы в качестве примера), то почему бы не написать название SEO компании? Страна должна знать своих героев :)
Или бить врага его же оружием:
Худшее SEO от компании %companyname% и завернуть в ссылку

[antivir]

Тогда в блог «Я негодую» нужно будет перейти.
К тому же, если контора серьезная, может в суд подать, нужно будет доказательства предъявлять.

[vorbiz]

Пост из серии «я у мамы молодец». Может, не стоит уже сюда такие помои лить?

[alexanderpuchkov]

На вашем месте я бы выложил название SEOшников. Обычно перед началом работе смотрят отзывы, а тут такое)

[Anisotropic]

мм… а это зачем?

User-Agent: Slurp
Disallow: /

[ferym]

robots.txt оставил тот, который делали сеошники эти.
я сделал лишь корректное отображение того, чего они хотели добиться

[Dennion]

Я уже запарился с этими горе оптимизаторами, наделают финтов, а потом народ жалуется в поддержку и с первого раза и не понятно в чем проблема. В статье речь идет про мой велосипед, у меня давно руки чешутся на них в суд подать, переодически ругаю, но видно у них текучка кадров, забывают мои наставления. Если что, пишите в личку — помогу чем смогу.

[thekip]

Есть еще одно элегантное решение без создания robots.php

RewriteRule ^robots.txt$ robots.txt.%{HTTP_HOST} #направляем на разных доменах на разные файлы robots.txt

Соответственно в в корне сайта кладем два файла robots, для каждого домена и прописываем там свои независимые правила.
Способ удобен тем, что горе-оптимизаторы не набыдлокодят своей логики. Только прежде нужно предупредить их о том что для каждого домена запрашивается свой роботс.