Содержание
Введение
Доброго времени суток. Сегодня хочу рассказать вам о том как добавить сайт в поисковую систему.
Многие активно развивают бизнес в интернете или же приходят в него, чтобы получить дополнительный поток аудитории. Разработчики стараются в этом помочь, разрабатывая сайты. Часто бывает так, что уже сайт готов, но бизнес не видит сайта в Google, Bing, Yandex и других поисковых системах:
Сайт написан, домен куплен, так почему же я до сих пор не вижу его?
Дело в том, что поисковые системы индексируют(сохраняют данные у себя и обрабатывают для быстрой выдачи) сайты ежедневно, чтобы включить их в поиск.
Чтобы добавить сайт существуют вебмастера, которым нужно рассказать, что сайт доступен по адресу домена и уже готов к индексации, отображению и продвижению :)
Терминология
HTML - язык гипертекстовой разметки. Файлы `file.html` содержат код для структурирования и отображения веб-страницы и её контента.
Метаданные - информация о другой информации, или данные, относящиеся к дополнительной информации о содержимом или объекте.
Метатеги HTML - структрированные метаданные о веб-странице.
Поисковая система — алгоритмы и реализующая их совокупность компьютерных программ, предоставляющая пользователю возможность быстрого доступа к необходимой ему информации при помощи поиска в обширной коллекции доступных данных
DNS - Domain name system - доменная система имён, используется для получения информации о домене. Подробнее можно о DNS узнать из комикса.
Вебмастер - сервис для отслеживания индексации вашего сайта, сбора статистики по поиску и т.п.
Начало
Для начала давайте разберёмся какие нам нужны вещи для того чтобы сайт прошёл в поисковые системы и при этом мы не наткнулись на какие-то проблемы. А может просто хотели бы, чтобы какие-то вещи были сделаны и использованы под наши запросы.
Robots.txt
Файл robots.txt текстовый файл, но который должен содержать определённую структуру для определения поисковыми роботами.
В нём стоит указывать файлы которые могут или не могут просматриваться роботами, а также какие из этих роботов могут просматривать их. К примеру вы можете запретить просматривать ваш сайт все роботам Яндекс, но Гугл будет оставаться в списке.
Пример
В данном примере мы запрещаем Яндекс роботу просматривать директорию secret, но остальные поисковые роботы получат к нему доступ:
User-agent: Yandex
Disallow: /secret/
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlUser-agent - наименование поискового робота;
Allow/Disallow - разрешение или запрет на чтение;
Sitemap - указывает на расположение файла sitemap.xml для дальнейшей индексации.
Существуют правила по расположению файла robots.txt для чтения его роботами:
Файл должен находиться в корне
Файл должен иметь название robots.txt
Файл должен быть в единственном экземпляре
Файл можно размещать на субдомене
Файл должен быть в кодировке UTF-8
Каждый файл robots.txt, размещённый на разных субдоменах, отвечает за свой субдомен и протокол. То есть http://example.com не равно http://sub.example.com, как и http://example.com не будет равен https://example.com
Подробнее о файле robots.txt тут. А также существует онлайн сервисы, которые помогают в составлении robots.txt. Пример сервиса: https://pr-cy.ru/robots/.
Sitemap.xml
Sitemap - это XML файл с информацией о страницах, которые должны быть проиндексированы поисковой системой.
Часто данный файл содержит информацию об url, его последней модификации и приоритете индексирования страниц. На основе этого поисковая система понимает, которые из url имеют изменения и насколько они важны. Данный файл не гарантирует индексацию поисковыми системами, а служит некоторой подсказкой для них.
Пример файла sitemap.xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>https://pavlusha.me/</loc>
<lastmod>2023-08-14T08:00:00+00:00</lastmod>
<image:image>
<image:loc>
https://pavlusha.me/src/img/me.jpg
</image:loc>
<image:title>
Pavel Zavadski Photo
</image:title>
</image:image>
</url>
</urlset>Для sitemap.xml также существуют сайты с генерацией контента. Пример такого сервиса: https://www.xml-sitemaps.com/.
Метатэги
Метатэги HTML несут с собой информацию, такую как описание сайта, ключевые слова, указание иконки (favicon) и т.д. Они также позволяют указать информацию для создания карточек предпоказа вашего сайта в интернете. Для этого вы можете использовать Open Graph от Facebook и Twitter.
Ниже приведены примеры написания метатэгов для предпоказа вашего сайта.
OpenGraph
Open Graph - это протокол, введенный компанией Facebook в 2010 году для более глубокой интеграции Facebook с любой веб-страницей. Он позволяет любой веб-странице иметь ту же функциональность, что и любой другой объект в Facebook. Вы можете контролировать, как ваш сайт отображается в Facebook. Теперь и другие социальные сети, такие как Twitter, LinkedIn, признают метатеги Open Graph.
Если вы хотите проверить как Ваш сайт отображается на разных популярных сайтах и приложениях вы можете воспользоваться эти сервисом. Он также позволяет сгенерировать метатэги, если они отсутствуют или Вы не знаете как их написать самостоятельно.
Пример добавления сайта в поиск
В примере я буду добавлять сайт npleto.ru в Яндекс при помощи Яндекс Вебмастера
Чтобы добавить сайт требуется ввести его адрес (в моём случае https://npleto.ru) и нажать добавить. Далее нужно подтвердить право владения доменом, для этого есть 3 пути:
HTML файл - потребуется разместить файл на сервере
Метатэги - добавить метатэг в HTML страницу
DNS записи - добавить DNS запись
Я буду использовать подтверждение по DNS записи. Для этого потребуется создать TXT запись в панели управления DNS записями. Использую Cloudflare, поэтому пример со скриншота может отличаться. Яндекс Вебмастер потребовал вписал TXT запись со значением yandex-verification: 7d6dxxxc47exxx2b:
После добавления DNS записи возвращаемся в Вебмастер и нажимаем Проверить.
После успешного прохождения проверки домен отобразиться в панели.
Спустя некоторое время сайт появиться в поисковой выдаче. Точное время появление в поиске определяется самой поисковой системой. Но чтобы точно знать что сайт уже появился в поиске рекомендую использовать ключевые слова site:<domainname> данный запрос в поисковике вернёт вам все проиндексированные страницы домена
Заключение
В заключении можно подвести итог, что любой сайт, который разработан и вы хотите чтобы о нём узнали следует также добавить в поисковик при помощи Вебмастера.
Указание robots.txt, sitemap.xml, метатегов, использование семантической вёрстки и подробное описание сайта - это вершина айсберга к пониманию работы поисковых роботов, но уже может решить много задач, связанных с появлением сайта в поисковой выдаче и его продвижением.
