7 бесплатных аналогов Screaming Frog и Netpeak Spider

    Многие SEO-специалисты практически ежедневно проводят технические аудиты сайтов используя тот или иной софт для краулинга. В 90% случаев это всем известные Screaming Frog SEO Spider либо Netpeak Spider. Обе программы платные, а их стоимость начинается от £149 и $182 в год соответственно (500 бесплатных страниц, доступных в Screaming Frog в учет не берем, так как это не серьезно для более-менее крупных проектов). Согласитесь – не каждый фрилансер-сеошник может позволить себе потратить более 10 000 рублей на приобретение подобного софта.

    Без сомнений, обе программы достойные, но хотелось бы дешевле, и намного дешевле. А лучше бесплатно )

    Конечно, помимо Screaming Frog и Netpeak Spider существует множество других платных и бесплатных аналогичных программ для краулинга сайтов, однако, большинство из них либо имеет более слабый функционал, либо их поддержка и развитие прекращены по неизвестным нам причинам.

    Screaming Frog и Netpeak Spider

    И если среди платных краулеров особых вопросов «что использовать» особо не возникает (лягушка, нетпик, ну или вебсайтаудитор на крайний случай), то бесплатные аналоги известны далеко не всем.

    В данной статье мы постараемся осветить данный вопрос.

    Примеры альтернативных бесплатных SEO-краулеров:

    Xenu’s Link Sleuth – прародитель веб-краулеров, не обновлялся с 2010 года. Было бы странно, если бы им сейчас еще кто-то пользовался.

    Screaming Frog и Netpeak Spider

    WildShark – очень простой и бесплатный парсер сайтов от одноименного рекламного агентства. Хотя WildShark SEO Spider имеет больше функций, чем Xenu’s Link Sleuth, однако он все же функционально бедноват. Настройки практически отсутствуют. Подойдет для быстрой оценки технического состояния сайта, но для серьезных аудитов не подходит.

    Screaming Frog и Netpeak Spider

    Beam Us Up – бесплатный сканер сайтов для ПК, который поддерживает платформы Windows, Linux и MacOS, имеет достаточно информативные отчеты и возможность выгрузки в Excel битых ссылок, редиректов и т.п. ошибок на сайте. Из минусов: парсит только HTML, проект более не поддерживается и не развивается.

    Screaming Frog и Netpeak Spider

    Webbee – это бесплатный сканер сайтов или списка URL. Программа имеет широкий набор анализируемых параметров, отображает полученную статистику в графическом виде, есть интеграция с Google Analytics. Минусы: визуализация данных на графиках выглядит жутковато, анализируемых параметров могло бы быть и больше, нет возможности фильтрации данных по произвольным полям. Последний релиз был выпущен в 2015 году.

    Screaming Frog и Netpeak Spider

    LinkChecker – программа предназначена для проверки битых ссылок в HTML-коде и файлах CSS, отсюда ее ограниченность в применении. Работает медленно, давно не обновлялась. Не стоит тратить на нее время.

    Screaming Frog и Netpeak Spider

    IIS SEO Toolkit – бесплатный SEO-краулер самой Microsoft! Обладает достаточным набором функций для программ подобного рода, скорость сканирования сайтов также на уровне. Однако работает только на Windows 7-8. 10-ка не поддерживается. По всей видимости дальнейшая поддержка программы прекращена.

    Screaming Frog и Netpeak Spider

    SiteAnalyzer – по набору функций практически не уступает платным аналогам, то есть на 80% программа повторяет основной функционал Screaming Frog и Netpeak Spider. При этом некоторых функций, таких, как «Визуализация ссылочных связей» на графе, нет даже у большинства платных аналогов. Молодой, но уже достойный внимания продукт.

    Screaming Frog и Netpeak Spider

    Как можно понять из выше озвученного списка, бесплатных альтернатив у платных краулеров предостаточно, однако большинство из них обладают посредственным функционалом, поэтому более подробно я бы хотел остановиться лишь на одной программе из предложенных вариантов – SiteAnalyzer.

    Программа визуально довольно близка со Screaming Frog SEO Spider, при этом на 80% SiteAnalyzer повторяет основной функционал «лягушки» и имеет русскоязычный интерфейс, поэтому разобраться с ее работой опытному либо начинающему сеошнику не составит большого труда.

    Быстрый доступ к проектам


    Основным отличием SiteAnalyzer от Screaming Frog является возможность хранения всех сайтов в единой базе в виде списка проектов. Таким образом, не нужно тратить время на сохранение проекта на диск и последующую загрузку данных с диска – просто выбираем нужный проект из списка и через несколько секунд получаем все его страницы с подробной информацией по каждой из них.

    Screaming Frog и Netpeak Spider

    Визуализация данных


    Визуализация ссылочных связей на графе предназначена для визуального отображения внутренней перелинковки сайта, что дает дополнительное представление о структуре сайта и помогает определить хабовые страницы и разделы.

    Screaming Frog и Netpeak Spider

    Не лишним будет упомянуть, что веб-краулеров с возможностью визуализации ссылок на графе во всем мире наберется не больше, чем пальцев на одной руке, поэтому наличие данной функции в бесплатной программе особенно ценно.

    Расчет PageRank


    Вкладка PageRank предназначена для расчета и отображения численного значения внутреннего ПейджРанк для каждой страницы сайта (рассчитывается исходя из внутренней перелинковки всех страниц сайта).

    Screaming Frog и Netpeak Spider

    Таким образом, SEO-специалист сможет проанализировать, какие страницы получают больше всего внутренних ссылок и при необходимости скорректировать перелинковку сайта для перенаправления ссылочного веса на более важные страницы.

    Проверка индексации страниц


    В программе существует возможность проверки индексации страниц в поисковой системе Яндекс через Яндекс XML.

    Screaming Frog и Netpeak Spider

    Таким образом, после сканирования сайта вы сможете проанализировать, какой процент страниц вашего сайта находится в индексе Яндекса без использования сторонних сервисов.

    Дашборд


    Вкладка Дашборд позволяет отобразить подробный отчет о текущей оптимизации сайта на одной странице путем отображения всех найденных ошибок и указанием степени их критичности.

    Screaming Frog и Netpeak Spider

    Помимо этих данных в отчете присутствует указание общего показателя качества оптимизации сайта, рассчитываемого по 100-бальной шкале относительно текущей степени его оптимизации. Дополнительно имеется возможность экспорта данных вкладки «Дашборд» в отчет в формате PDF.

    Заключение


    Сегодня мы рассмотрели бесплатные варианты программ для технического аудита и выяснили, что при желании можно найти вполне достойные замены платным инструментам и прилично сэкономить бюджет, практически ничего не потеряв в качестве проведения аудита сайтов.
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 6

      0

      не хватило более детального сравнения для крупных сайтов, не лишним было бы указать как эти программы вообще справляются со сканом больших сайтов, если страниц больше 50 или 100 тысяч.

        0
        SiteAnalizer сканирует сотни тысяч страниц, были примеры сайтов с 1-2 млн. Остальные, полагаю что, вполне потянут пару-сотню тысяч страниц, на счет большего сомневаюсь, тк написаны на Яве большинство, которая отъедает много ресурсов (например это заметно по тому же Фрогу, который на средних компьютерах начинает заметно тормозить уже на 100к страниц).

        Позже выложим более детальное сравнение, с платными аналогами в том числе.
        0
        Спасибо за обзор! Было бы еще круто почитать о бесплатных аналогах работы с семантическим ядром. Из всего, что не SimilarWeb или Serpstat (для несистематического анализа покупать подписку у них все же дороговато) — все, что я видел, было очень так себе.
        Конечно, можно пользоваться чисто Вордстатом и Гугл Кей Планнером, но всё же.
          0
          Есть планы на подобный обзор, позже сделаем.
          +1
          Только хотел ругаться, почему опять обзор сервисов и нет SiteAnalyzer… А тут на тебе))) А потому увидел кто автор, и стало понятно)))
          Сервис действительно хорош и функционален. А главное — полностью бесплатен! Спасибо разработчикам, надеюсь на дальнейшее развитие проекта.
            0
            Благодарю за отзыв! Новая версия уже в активной стадии разработки.

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.