Миграция без жертв: технический чеклист для переезда сайта на новый домен

Переезд или миграция сайта — событие, которое сулит существенные выгоды в долгосрочной перспективе и не менее существенные хлопоты — в краткосрочной. Увы, избежать последних абсолютно невозможно, но при этом вполне реально заблаговременно продумать, как и в какой последовательности с ними следует справляться.

Если малейшее упоминание грядущего переезда вызывает у вас дрожь и неумолимое желание уехать на край света, предварительно выбросив ноутбук в окно, наш чеклист по переезду предназначен именно для вас :)

1. Создание бэкапа

Как бы внимательно вы ни подошли к переезду, лучше перестрахуйтесь и сделайте бекап всех файлов сайта и баз данных при помощи встроенных инструментов на сервере или внешних дополнительных инструментов.

2. Знакомство с историей нового домена

Этот пункт имеет особое значение для тех, кто ещё только задумывается о переезде и «прощупывает почву», а также тех, кто купил домен не глядя. Есть ряд причин, по которым вам стоит отнестись к прошлому своего нового домена с особым вниманием:

1. Если прошлый владелец умудрился схлопотать бан от поисковых систем, вам с ним бороться будет крайне сложно.
2. На сайт могут вести разного рода бэклинки, которые вам необходимо будет учесть и перенаправить. Причём, бэклинки могут быть как качественные, так и наоборот. Просматривая список обратных ссылок, ведущих на домен, вы можете увидеть нормальные органические бэклинки или же явный спам. К тому же, у каждого из ссылающихся доменов будут отличаться показатели трастовости и авторитетности, исходя из которых можно делать выводы о качестве сайтов.
3. Если домен уже использовался до вас, а его тематика во многом пересекается с вашей, воспользуйтесь ситуацией по максимуму. Поставьте редиректы со старых страниц этого домена на релевантные новые страницы своего сайта, которые будут доступны по новым адресам после переезда. Так вы сможете бесплатно получить качественные беклинки и дополнительную долю реферального трафика.

3. Создание временной страницы для отображения во время переезда

Если вы приобрели для переезда домен «с историей» и на него уже ведут какие-то ссылки, рекомендуем поставить на нём временную «заглушку» — страницу с просьбой вернуться позже или ссылками на другие информационные каналы вашей компании. Она должна показываться абсолютно всем пользователям, которые попадут на одну из страниц нового домена до окончания технических работ. Вы можете даже добавить таймер обратного отсчёта, если уже наметили точную дату релиза сайта на новом домене. Крайне важно, чтобы эта страница отдавала код ответа 503 Service Unavailable.


Пример «заглушки» на GitHub

4. Выгрузка полного списка страниц и настройка редиректов

Прежде чем перевозить сайт на другой домен и создавать на нём новые версии всех старых страниц, следует выяснить, сколько у вас имеется страниц в принципе и каких. Это понадобится для построения карты редиректов и последующей их настройки. Для этого вам понадобится краулер, способный собрать список из всех видимых страниц сайта, а также любой выбранный вами сервис мониторинга бэклинков.

4.1. Сбор списка страниц сайта при помощи краулера

Для сбора и выгрузки списка видимых страниц сайта вы можете воспользоваться любым удобным вам десктопным краулером (в рамках данной статьи я буду описывать процедуры на примере Netpeak Spider). Просто запустите краулинг по всему сайту с учётом всех поддоменов и каталогов, предварительно отключив в настройках учёт инструкций по индексации, а также выбрав минимальный набор анализируемых параметров.



К тому же, подобная проверка позволит выявить и ликвидировать уже на новом домене все проблемы по части кодов ответа сервера — все неработающие ссылки, редиректы с кодом ответа, отличным от 301, и так далее.

После завершения сканирования вам достаточно экспортировать полученные результаты, чтобы сохранить список страниц в табличном виде.

4.2. Сбор списка страниц при помощи сервисов по мониторингу бэклинков

Мы настоятельно рекомендуем не ограничиваться списком страниц, полученным в ходе краулинга, и пробежаться по списку бэклинков. Во-первых, это поможет учесть ссылки, которые вы могли упустить. Во-вторых, у вас появится отличный повод проверить, не затесались ли в общий список битые бэклинки, которые вроде бы ведут на ваш сайт, но в итоге отдают 404 код ответа. На них теряется трафик, так что имеет смысл либо связаться с владельцем площадки и заменить ссылку, указав сразу новый домен, либо прописать для неё корректный редирект.

Это можно сделать при помощи «Анализа ссылок» в Serpstat, инструмента «Сайт эксплорер» в Ahrefs, а также ряда других подобных им сервисов. Выбор будет зависеть от ваших личных предпочтений.

4.3. Предварительная чистка списка

Выгрузив список ссылок внутренних и внешних ссылок сайта, выполните несколько простых шагов, которые предотвратят появление ряда серьёзных ошибок уже на новом домене:

1. Убедитесь, что в списке страниц для переезда нет полных дублей страниц, доступных по разным адресам. Вы можете обнаружить их, сканируя страницы списка со включённым анализом хеша страницы и хеша текста. Если вы обнаружите на старом домене дубли, у которых есть внешние беклинки, рекомендуется настроить редирект со всех дублей на одну новую каноническую страницу. Лучше позаботиться об устранении дублей сразу же на этом этапе, не дожидаясь финальной проверки на ошибки.
2. Проверьте все ссылки на внешние площадки, которые имеются на вашем сайте: при возможности замените на актуальные, либо удалите вовсе.
3. Выясните, есть ли на сайте ссылки, которые ведут на более недоступные внутренние страницы. Если они имеются только на вашем сайте, а беклинки на них никто не ставил, уберите и замените их при переносе на новый домен. Если же эти найденные недействительные адреса значатся в списке бекликов, учтите их при переезде и выставьте редирект на максимально релевантную страницу.

4.4. Настройка серверной переадресации

Полученные обоими способами списки необходимо совместить в одну таблицу, исключив дубликаты, и прописать соответствующие адреса для редиректов на новый домен. Для переадресации следует использовать 301 серверный редирект, который настраивается при помощи файла .htaccess. И проще всего это будет сделать при условии идентичных имён у старых и новых страниц (old.com/page-about-seo и new.com/page-about.seo).

Код, отвечающий за переадресацию на уровне сервера, будет иметь примерно такой вид:

RewriteCond %{HTTP_HOST} ^www\.old\.com$ [NC]
RewriteRule ^(.*)$ http://new.com/$1 [R=301,L]
 
RewriteCond %{HTTP_HOST} ^old\.com
RewriteRule ^(.*)$ http://new.com/$1 [R=301,L]

Также не забудьте при написании кода для редиректов в .htaccess учесть переадресацию на основное зеркало сайта — с префиксом www. или без него, с протоколом HTTP и HTTPS.

5. Создание карты сайта

После создания всех необходимых страниц на новом домене вам предстоит следующий шаг — создание карты сайта.

Всего насчитывается 6 видов карт, из которых чаще всего используются три — базовая XML Sitemap для всех страниц сайта, Image Sitemap для изображений и HTML Sitemap, основная задача которой — упростить навигацию внутри сайта для пользователей. Первая создаётся для абсолютно всех типов сайтов, вторая — для сайтов с большим количеством графического контента, который также может приносить трафик из поиска по картинкам.

Для создания карты вы можете использовать несколько инструментов:

1. Встроенный функционал используемой вами CMS или дополнительные внешние плагины для неё.
2. Онлайн-генераторы карт сайта (XML Sitemap Generator, XML-Sitemaps.com, Check Domains и другие).
3. Специальные скрипты для автоматической генерации карт сайта.
4. Десктопные инструменты (InSpyder) и краулеры со встроенным генератором файлов Sitemap (Netpeak Spider, к примеру)
   

После создания и размещения карты в корневом каталоге сайта не забудьте указать её адрес в директиве Sitemap файла robots.txt.

6. Подготовка нового файла robots.txt

Перед релизом нового сайта и снятием «заглушки» обязательно позаботьтесь о грамотном составлении файла robots.txt. Один из способов проверить правильность указанных инструкций по индексации — воспользоваться функцией «Виртуальный robots.txt» в Netpeak Spider.



С его помощью вы можете загрузить в программу составленные вами инструкции для поисковых роботов без изменения реального файла robots.txt, а затем взглянуть на сайт «глазами поисковиков». Это позволит понять, не оказались ли какие-то из важных страниц закрыты от индексации, и наоборот.

После применения новых инструкций по индексации обязательно проведите финальную проверку сайта на предмет индексируемости. Если окажется, что вы допустили где-то ошибку, пусть даже просто по невнимательности, значительная часть вашего сайта может не попасть в индекс поисковиков. Результатом станет потеря существенной доли органического трафика.

7. Настройка атрибута rel=canonical

После того, как вы устраните все дубликаты и битые ссылки, настроите редиректы и успешно переместите весь контент на новый домен, обязательно уделите внимание атрибуту rel=canonical. Во-первых, убедитесь, что после переезда в коде страниц не осталось канонических атрибутов, указывающих на адреса со старого домена. Во-вторых, на страницах, которые не были до этого канонизированы, мы рекомендуем выставить rel=canonical на них самих.

8. Уведомление поисковых систем о переезде

После того, как все основные технические работы остались позади, вам остаётся уведомить поисковые системы о смене адреса сайта.

8.1. Смена адреса в Google Search Console

Для смены адреса в GSC вам сперва нужно зарегистрировать новый сайт, а затем зайти в настройки старого домена и выбрать «Изменение адреса».



Выберите новый домен из выпадающего списка и пройдитесь по всем пунктам чеклиста Google Search Console. После этого вы подтвердите отправку запроса на смену адреса.

8.2. Смена адреса в Яндекс.Вебмастер

В панели для вебмастеров поисковой системы Яндекс процедура переезда выполняется почти аналогичным образом. Вы можете без труда указать новый адрес в разделе «Индексирование» → «Переезд сайта». Желательно (но не обязательно), чтобы к этому моменту новый домен уже был зарегистрирован в вашем аккаунте «Вебмастера».

8.3. Смена адреса в Google Analytics

Для смены адреса в настройках Google Analytics зайдите в раздел с настройками и выберите «Настройки аккаунта» → «Настройки ресурса». В этом разделе вы найдёте поле «URL по умолчанию», в котором необходимо будет указать новый адрес.



Учтите, что все прежние настройки, связанные с электронной торговлей, в связи с переездом нужно будет обновить.

8.4. Смена адреса в Яндекс.Метрике

Для изменения домена в аккаунте Яндекс.Метрики зайдите в раздел «Настройка» и на вкладке «Сводка» пропишите новый адрес сайта.

9. Проверка кодов отслеживания

Несмотря на переезд, ваш сайт, по большому счёту, не претерпел никаких особых изменений. Однако при этом вам всё же следует убедиться в том, что все необходимые коды отслеживания работают корректно и присутствуют на всех страницах сайта. Рекомендуем сделать это следующим образом:

1. Взгляните на аналитические отчёты, работающие в режиме реального времени: с их помощью можно будет понять, работают ли коды на вашем сайте в принципе.
2. Воспользуйтесь парсингом (извлечением данных) для поиска кодов на страницах сайта. Вы можете использовать для этого краулер: вам нужно будет лишь настроить парсинг по отрывкам кодов отслеживания, чтобы понять, на каких страницах он есть, а на каких отсутствует.

10. Финальная проверка на ошибки

После завершения всех технических работ, связанных с переездом, важно также провести финальную проверку и оперативно исправить все допущенные ошибки. Чем скорее вы их обнаружите, тем проще будет их устранить и избежать возможных негативных последствий.

10.1. Проверка страниц со старого домена

После успешного переноса контента и настройки переадресации со старого домена на новый обязательно запустите сканирование по списку старых URL. Это необходимо для проверки редиректов, а также поиска возможных битых ссылок и перенаправлений с некорректным кодом ответа (допусти́м только 301 Moved Permanently).

В рамках проверки краулер покажет, нет ли на сайте:

• цепочек редиректов,
• не 301 редиректов,
• битых редиректов.

10.2. Проверка страниц на новом домене

Эту проверку вы аналогичным образом можете провести с помощью десктопного краулера. Желательно, чтобы на сайте вообще не оказалось ошибок высокой и средней критичности, но особенно важно убедиться, что на нём нет следующих проблем:

1. Некорректные коды ответа сервера.
   На сайте может быть только 3 варианта кодов ответа: 200 OK, 301 Moved Permanently и 200 OK & Canonicalized. Четвёртого, пятого и шестого не дано. Все прочие коды, включая все 4хх и 5хх, будут свидетельствовать об ошибках в настройках сайта и препятствовать его индексации поисковиками. Исключения составляют лишь страницы с кодами 200 OK & Disallowed и 200 OK & Noindex / Nofollow, которые должны присутствовать на сайте, но не должны попадать в индекс.
   
   
2. Дубликаты.
   Если уж вам приходится осуществлять в процессе переезда масштабные технические работы, то рекомендуем не откладывать в долгий ящик исправление старых технических ошибок и сделать всё «одним махом». К их числу относятся все существующие виды дубликатов: дубли страниц, текстового содержимого, H1, Title и Description.
   
3. Отсутствующие метаданные.
   Наверняка у вас были веские причины для переноса сайта на новый домен, и, скорее всего, среди них значится улучшение позиций сайта в органике и повышение CTR. Чтобы ваши усилия не были напрасными, убедитесь, что в сниппете будет красоваться не только обновлённый URL, но и корректный Title с грамотно прописанным Description.
4. Ошибки в карте сайта.
   Как говорится, shit happens, а потому ошибки могут обнаружиться даже в карте сайта. Их наличие может пагубно сказаться на индексации сайта поисковыми роботами, особенно если у вас сайт-гигант с десятками тысяч страниц. Чтобы проверить карту, в списке встроенных инструментов Netpeak Spider выберите «Валидатор XML Sitemap» и укажите адрес карты для проверки.
   

Коротко о главном

Что бы ни послужило причиной переноса сайта на новый домен, к технической стороне переезда вам следует подойти со всей серьёзностью. Процедура предполагает 10 основных этапов, без которых переезд нельзя считать завершённым:

1. Создание резервной копии сайта.
2. Ознакомление с историей выбранного для переезда домена.
3. Настройка «заглушки» на время переезда.
4. Сбор полного списка страниц для настройки редиректов.
5. Разработка и внедрение карт сайта.
6. Создание нового файла robots.txt.
7. Настройка атрибута Canonical.
8. Смена настроек в панелях для вебмастеров и системах аналитики.
9. Проверка кодов отслеживания на сайте.
10. Финальная проверка на ошибки.

Для выполнения всех указанных выше этапов вам понадобится сервис со сбору бэклинков, краулер, один из доступных на рынке инструментов для создания карт сайта, а также Google Analytics, Google Search Console, Яндекс.Метрика и Яндекс.Вебмастер.