В прошлой статье мы описали, что нужно сделать для того, чтобы обеспечить успешное продвижение веб-ресурсов в поисковых системах при помощи выполнения базовых требований поисковой оптимизации. Сегодня хочу обратить Ваше внимание на технологические особенности, которые необходимо соблюдать при разработке сайта. Проверьте свои ресурсы на соответствие им. Это поможет Вам, как сегодня помогает и нам. Мы постарались свести все к набору советов, что бы было легко и удобно с этим работать.
Итак, помимо внешних факторов вашего сайта, видимых, что называется, невооруженным глазом (структура, тексты, дизайн) существует целый ряд технических мероприятий, которые нужно проделать с сайтом для его правильной настройки для лучшей индексации поисковиками. Перечислим наиболее важные из них.
Точное определение главного хоста. Исключение зеркал.
Необходимо определить главный адрес сайта, например www.site.ru. В этом случае нужно настроить сервер так, чтобы при запросе адреса без WWW сервер отдавал 301-й ответ и перенаправлял на основной адрес сайта (с WWW).
Также необходимо исключить попадание в поисковый индекс синонимов главной страницы (www.site.ru/index.php и других подобных), так как, несмотря на полную идентичность, для поисковика это будут разные страницы и какую он посчитает самой главной только ему и известно.
Убедитесь, что у вас нет других доменов, которые полностью копируют содержимое основного сайта. Для каждого из них необходимо обязательно использовать директиву в robots.txt, например:
User-Agent: *
Host: www.trubmaster.ruКорректные ответы серверов
Основные ответы серверов, которые обычно используются при продвижении сайта – это 301 (страница переехала на другой адрес на постоянное место жительства) и 404 (нет страницы с таким адресом).
Первый ответ используется в случае определения главного хоста (см.выше), а также для перенаправления пользователей и поисковых роботов со страниц, изменивших свой адрес, на новый. Например, если вы осуществили редизайн сайта и все страницы получили новые адреса, то целесообразно по старым адресам отдавать этот самый 301-й код ответа с указанием нового адреса жительства. В этом случае, к примеру, минимизируются потери того ссылочного веса, который набрала страница по старому адресу.
Ответ 404 же необходимо использовать для несуществующих страниц. На такой странице можно выводить навигационные ссылки с предложением посетить другие важные разделы сайта вместо ошибочного. Наличие правильного ответа для таких страниц гарантирует непопадание в индекс поисковой системы заведомо несуществующих страниц.
Настройка правильных адресов (URL)
Каждая страница должна иметь свой уникальный адрес – URL. Современные алгоритмы поисковиков прекрасно распознают слова, содержащиеся в адресе, в том числе и набранные латиницей в транслите русские слова и также учитывают их при ранжировании сайтов в результатах поиска. Составляйте такие URL, из которых будет четко видно расположение документа в структуре сайта и понятно его содержание. Такие адреса называются человеко-понятными УРЛ (ЧПУ).
Пример плохого URL: www.site.ru/page.php?id=12313&brid=1536
Пример хорошего URL: www.site.ru/holodilniki/zanussi
Robots.txt
С помощью файла robots.txt возможна передача поисковому роботу директив о том, какие разделы сайта не нужно индексировать. Почему это важно? Дело в том, что очень часто, особенно в случаях наличия на сайте товарных каталогов (интернет-магазины), некоторые страницы дублируют один и тот же контент. Это могут быть страницы, возникающие при сортировке, включении различных фильтров. Также требуется закрывать от индексации страницы результатов поиска и страницы после уточнения выводимого на странице числа элементов различных списков.
Дело в том, что каждая такая страница зачастую имеет свой собственный уникальный URL, а контент, формируемый на них дублирует информацию, размещенную на основных страницах каталога. В результате, на сайтах с большим количеством элементов каталога, к индексированию добавляются сотни и тысячи совершенно ненужных страниц, которые только лишь «сбивают» с толку поискового робота при выборе релевантных страниц и попросту замедляющих его работу по сбору информации обо всех страницах сайта.
Наконец, в файле robots.txt необходимо запрещать к индексации различные служебные папки и папки системы управления сайтом.
В результате, у вас должен сформироваться файл, подобный этому:
User-Agent: *
Host: www.site.ru
Sitemap: www.site.ru/sitemap.xml
Disallow: /katalog/tv/cost-sort/
Disallow: /katalog/tv/name-sort/
Disallow: /katalog/tv/50/
Disallow: /admin/
Disallow: /search/Sitemap
Еще одним очень полезным инструментом, помогающим поисковой системе корректно проиндексировать ваш сайт, является создание файла sitemap.xml. В данном файле прописывается каждая страничка вашего сайта и рекомендации для поискового робота по ее индексации.
Подробное описание принципов работы с элементом SITEMAP прописаны в помощи Яндекса: help.yandex.ru/webmaster/?id=1007070.
В следующей таблице мы приводим расшифровку тегов, необходимых для перечисления простых URL в файле SITEMAP.
И еще ряд небольших советов по работе с данным файлом:
- Ссылка на файл (или файлы, если их несколько) должна быть прописана в robots.txt;
- Желательно, чтобы в файл заносилась реальная дата последнего обновления (например, по факту нажатия кнопки «Сохранить», а для главной страницы и страниц каталога сигналом изменения даты обновления страницы дополнительно может служить факт обновления каталога. Также требуется обновлять дату изменения для страниц, у которых выдача формируется автоматически. Например, страница Ленты новостей автоматически обновится после добавления новостного сообщения или редактирования ранее внесенного;
- В файл должны попадать только реально существующие страницы и должны быть исключены дубли одних и тех же страниц как по разным адресам (в т.ч. «техническим»), так и просто дублирование одинаковых URL в разных частях файла.
HTML-код
HTML – это язык гипертекстовой разметки веб-страниц. На нем «пишется» код сайта, который, в итоге, считывают поисковые роботы. Поэтому качество этого кода и то, что он передает, — это весьма важные пункты внутренней оптимизации сайта.
HTML-код также можно отнести к технологическому фундаменту, но сам по себе вопрос корректного HTML-кодирования настолько объемен и серьезен, что имеет смысл говорить о нем отдельно. Хотя, нужно отметить, что многие оптимизаторы не придают коду слишком большого значения. В частности, это связано с тем, что сами поисковики стараются настроить свои поисковые роботы на возможность работы с любым кодом, даже самым непоследовательным и хаотичным и уж тем более с кодом популярных типовых CMS (Битрикс, Joomla, Drupal и другие). Однако, как показывает практика, сайты с качественно проработанным HTML-кодом имеют лучшие показатели в результатах поиска на протяжении долго времени.
В общем случае, к HTML-коду можно сформулировать следующие требования:
- Соответствие стандартам HTML
- Компактность – для обеспечения минимального «веса» и повышения скорости индексации и загрузки
Компактность кода обеспечивается технологичным дизайном (без излишних «наворотов») и его грамотной версткой под HTML. К сожалению, хорошая и корректная верстка – это до сих пор очень большая редкость. Лишь очень известные и крупные студии постоянно выпускают работы на достойном уровне качества.
В данной главе мы приведем некоторые общие рекомендации по коду, по которым вы можете оценить и код вашего собственного ресурса.
Методика верстки
Верстать HTML-код сайта необходимо по методике DIV.
Использование табличной верстки не допускается. Таблицы можно применять только для, собственно, оформления таблиц, либо для особых случаев.
Общая структура построения контентной страницы в HTML
Далее приводится общая схема построения HTML-кода для типовой страницы сайта. С помощью этой схемы должно быть понятно какую последовательность появления блоков в коде необходимо соблюдать при верстке HTML-кода с помощью метода DIV, если считать, что мы работаем с некоторыми блоками. Каждый блок – это определенный «кусок» HTML-кода:
- Шапка
- Меню (оформляется тегами ненумерованного списка LI)
- Главный контентный блок (с заголовком H1 и текстами в тегах P + списки LI)
- Вторичные контентные блоки (с заголовками H2-H6 и текстами в тегах P + списки LI)
- Дополнительные меню и вспомогательные информационные блоки (реклама, анонсы других разделов, блоки ссылок на другие ресурсы и т.д.)
- Подвал сайта (копирайт, счетчики)
Компактность кода. CSS. JavaSript. Счетчики
При написании HTML-кода необходимо добиваться максимальной его компактности и приближения непосредственного текстового контента как можно ближе к началу кода. Некомпактный код приводит к тому, что до того, как поисковый робот начинает индексировать действительно значимый текст, он «съедает» значительное количество ненужного кода. В результате:
- расходуется квота робота, выделяемая в базе данных поисковой машины для хранения этой страницы;
- уменьшается доля полезных ключевых слов от общего объема проиндексированного на странице текста.
- использование верстки методом DIV;
- не допускать возникновения в HTML-коде лишних «пустот» между строками и лишних пробелов;
- минимизировать использование различных стилей и классов прямо в коде, все основные и стандартные элементы должны быть описаны в отдельных файлах CSS;
- при использовании ссылок на стили и классы применять как можно более короткие и при этом понятные названия-идентификаторы.
В отдельные файлы необходимо выносить и подключать по мере необходимости:
- все стили элементов верстки – в виде файлов CSS;
- все JavaScript-сценарии – в виде файлов JS;
Оформление текстов в HTML-коде
Все тексты на сайте можно условно разделить на основной контент, блоки меню и вспомогательный текст (например, рекламные ссылки-баннеры, блок подвала с копирайтом компании и так далее). Правила оформления текстов для блоков основного контента и вспомогательного текста – одинаковые. У блоков меню свои особенности.
Оформление блоков меню
Все блоки меню необходимо оформлять в теги списка: UL, LI. Внутрь тега списка помещается ссылка. Стилистическое различие необходимо обеспечивать за счет задания различных стилей внутри тегов DIV, окружающих пункты меню.
Итоговая конструкция:
DIV UL LI A текст ссылки /A /LI /UL /DIVОформление текстов основного контента и блоков вспомогательного меню
A. При оформлении текстов не рекомендуется прямое размещение текстов в тегах:
- DIV (например, DIV Здесь размещен текст /DIV)
- FONT – данный тег необходимо вообще исключить из HTML-кода
- H1-H6 – для оформления заголовков
- P – основной тег для оформления практически всех текстов
- UL, OL, LI – для оформления списков
- TH, TR, TD – для табличных ячеек
- PRE – дополнительный тег для вывода преформатированного текста, может использоваться в исключительных случаях
Мета-описания страниц
Каждая страница сайта может быть описана специальными мета-тегами (TITLE, DESCRIPTION, KEYWORDS), которые позволяют более точно идентифицировать ее в структуре веб-документов.
Тег TITLE является самым весомым тегом из вообще каких-либо тегов, применяемых к текстам на сайте. В явном виде текст, внесенный в TITLE, виден в результатах поиска и как заголовок окна в некоторых интернет-браузерах. В тег TITLE необходимо вносить лаконичный текст, максимально точно описывающий содержимое страницы. Шаблон формирования TITLE для страниц веб-сайта по умолчанию: [Название текущего раздела]. [Название родительского раздела]. [Уникальный суффикс].
Уникальный суффикс – это текст, который позволит поисковой системе выделить ваш документ как уникальный во всем множестве интернет-документов. Обычно он формируется как название компании плюс 2-3 слова с описанием основной деятельности.
Теги DESCRIPTION и KEYWORDS давно утеряли свое влияние, которым обладали в конце 90-х и начале 2000-х годов, однако их использование и правильная проработка по-прежнему рекомендуется.
В теге KEYWORDS необходимо перечислить ключевые слова, которые точно описывают содержимое страниц. Рекомендуется подбирать уникальный набор для каждой из страниц, не нужно писать ничего лишнего. Желательно ограничиться 15-20 словами, не более. И не нужно «таскать» со страницы на страницу какую-нибудь фразу, которая кажется вам самой-самой нужной для вашего продвижения, лучше определите для этой фразы свою единственную, но самую подходящую страницу.
В теге DESCRIPTION нужно написать 3-5 связанных предложений о содержании страницы. Что-то вроде «Каталог рыболовных товаров. Список воблеров в категории Приманки. Рыболовный интернет-магазин ЛучшаяНаСветеРыбалка.Ру». Важно также составлять уникальные описания для каждой страницы, точно соответствующие ее содержимому. Необходимо учитывать также и то, что содержимое данного тега иногда выводится в качестве описания страницы в результатах поиска Google и Яндекса.
Необходимо отметить, что проработка мета-описаний для сайтов с сотнями страниц – это крайне утомительное дело. Тем более, что желательно каким-то образом унифицировать эти описания. В этом случае на помощь приходят CMS, в которых возможно создание шаблонов таких мета-описаний. К сожалению, на сегодняшний день не каждая CMS позволяет просто править эти мета-теги и лишь единицы позволяют создавать шаблоны. Поэтому, на этапе создания сайта, если вы привлекаете сторонних разработчиков, желательно сразу оговорить с ними как именно будут формироваться мета-теги для ваших типовых страниц.
Вышеописанные советы мы соблюдаем при разработке сайтов по технологии web-canape. Результатами довольны и мы и заказчики. Чего и Вам желаем!
Отдельное спасибо нашему другу, партнеру и автору данных рекомендаций — Андрею Зайцеву (www.promo-icom.ru)
В следующем, заключительном материале, мы расскажем про дополнительные инструменты продвижения и полезные сервисы для вебмастеров. А пока ждем комментариев и дополнений от специалистов.
P.S. Первая часть советов
