В последние годы онлайн-продвижение бизнеса становится все более трудным процессом. Конкуренция на многих рынках ужесточается, стоимость привлечения клиентов с помощью платной рекламы по модели аукциона – например, в поисковых системах или соцсетях – постоянно растет.
В итоге конкурировать друг с другом с помощью этих каналов могут только крупные компании, а остальным приходится искать другие, более дешевые способы продвижения. Один из них – поисковая оптимизация (SEO), может оказываться очень эффективным, ведь при удачном стечении обстоятельств, если сайт выйдет в топ Google или Яндекса по нужным запросам, это обеспечит его качественным трафиком.
Существует целая индустрия поисковой оптимизации, и сегодня мы поговорим не о лайфхаках по выводу сайтов в топ поисковиков, а рассмотрим технические трудности, с которыми можно столкнуться на этом пути.
Почему автоматизация необходима для качественного продвижения
Поисковая оптимизация включает в себя огромное количество задач:
- конкурентная разведка – что и как делают другие компании из вашей ниши;
- аудит собственного сайта – какие ключевые слова использовать, контент какого типа позволит подняться выше в выдаче;
- линкбилдинг – где и как размещать (и уже размещены) ссылки на сайт и сайт конкурентов;
- анализ по гео – в случае международного бизнеса важно понимать, как сайт себя чувствует в поисковиках в разных регионах;
- и т.д.
Для каждой из этих задач понадобится автоматизация, чаще всего с помощью скрейпинга – то есть парсинга нужных данных для дальнейшего анализа. Это логично, поскольку собрать нужные данные вручную будет очень трудно и дорого, куда эффективнее написать несложный скрипт, который скачает данные с нужных сайтов или из поисковых систем. По крайней мере звучит все очень просто.
Что может пойти не так
Предположим, что вы решили проанализировать SEO сайта конкурентов – например, собрать информацию о том, какие ключевые слова они используют для продвижения, и какие страницы активно оптимизируют.
Для этого вам понадобится скрипт, который с одной стороны подключится к целевому сайту, пройдет по его страницам и скачает информацию по тегам, ключевым словам, использованным заголовкам, а с другой – проанализирует выдачу поисковика по этим ключевым словам (какие места занимают страницы, какие мета-описания по ним выдаются).
На этом этапе может оказаться, что владельцы сайта, как и поисковая система, совсем не рады тому факту, что кто-то пытается выкачать данные. Активность вашего бота наверняка попытаются заблокировать. Обычно для работы таких скрейперов используют серверные IP-адреса без серьезной ротации по сетям (то есть регулярной их смены). Вычислить и заблокировать бота в такой ситуации нетрудно.
И это еще самый лучший вариант, потому что нередки случаи, когда владельцы бизнеса стремятся ввести конкурентов в заблуждение и «подсовывают» их ботам-скрейперам искаженные данные. Если на основе таких данных принимать бизнес-решения, можно понести серьезные убытки. В случае SEO, например, неверные данные могут приводить к неверным результатам конкурентного анализа, в результате чего компания потратит деньги на продвижение, но не добьется результатов.
Как решить проблемы с помощью резидентных прокси
Решить многие проблемы при продвижении сайтов и анализе SEO-данных можно с помощью резидентных прокси.
Резидентными называют IP-адреса, которые интернет-провайдеры выдают владельцам жилья, они отмечаются в базах данных региональных интернет-регистров (RIR). Резидентные прокси используют именно такие IP, поэтому запросы с них неотличимы от тех, что отправлены реальными пользователями. Получается, для сайтов и поисковых систем, запросы скрейперов, отправленные с таких адресов будут выглядеть, как обычные запросы посетителей. Их никто не будет блокировать.
Например, сервис ротируемых прокси от Infatica используют компании, которым нужно решить следующие задачи:
- Получение данных для тестов и экспериментов – скрейперы могут собирать данные по результатам конкретного сайта в разных поисковых системах по разным поисковым запросам за различные периоды времени.
- Конкурентная разведка – анализ данных об активности и результативности конкурентов также популярный кейс использования прокси.
- Анализ результатов выдачи по гео – те компании, которые продвигают свой сайт сразу в нескольких регионах или странах, могут запускать скрейперов для выкачивания соответствующих данных из поисковиков без риска блокировки. В системе Infatica доступно более 100 стран и регионов.