Всем привет! В этом релизе SiteAnalyzer мы постарались добавить как можно больше ранее озвученных пожеланий пользователей, при этом было реализовано более 20 новых возможностей и улучшений, а также исправлена масса накопившихся багов.
Для тех, кто слышит о программе впервые - SiteAnalyzer это десктопный краулер, предназначенный для технического аудита сайтов, или, если еще проще - это российский аналог Screaming Frog SEO Spider.
В новой версии SiteAnalyzer 2.9 была добавлена возможность импорта списка URL в проект, появилась возможность создания дубликатов проектов, добавлен экспорт структуры сайта в MindMap, добавлен график ТОПа анкоров сайта, а также была проведена большая работа по исправлению накопившихся багов. Расскажем обо всем подробнее.
![](https://habrastorage.org/getpro/habr/upload_files/d72/885/352/d7288535216a87d8141c50dfca5df1db.png)
Основные изменения
1. Импорт URL
В новой версии SiteAnalyzer добавлена возможность импорта URL в активный проект используя буфер обмена, текстовый файл или файл Sitemap.xml.
![](https://habrastorage.org/getpro/habr/upload_files/cf3/e89/390/cf3e89390435a55029e2b28df9360649.png)
Это бывает удобно, когда, например, у проекта уже просканировано большое число станиц, при этом на сайте добавилось несколько новых URL и мы хотим их проанализировать, но не хотим тратить время на долгое пересканирование всего сайта, чтобы увидеть недавно добавленные страницы.
Импорт URL в проект осуществляется через контекстное меню списка проектов, а также через контекстное меню списка URL – пункт «Добавить URL в проект».
![](https://habrastorage.org/getpro/habr/upload_files/983/cb7/4c9/983cb74c9ce4afe341589dca9be06f10.png)
При этом, при импорте:
Учитываются дубли URL (не добавляются URL, уже имеющиеся в базе).
Не добавляются URL с отличным от исходного доменом.
Сразу после импорта, URL автоматически отправляются на сканирование.
2. ТОП анкоров
Добавлен фильтр по ТОПу анкоров на панели «Custom Filters», а также график плотности ключевых слов.
![](https://habrastorage.org/getpro/habr/upload_files/388/ac3/e51/388ac3e5170c0595f9502724c21b290f.png)
Для анализа берутся все анкоры ссылок с сайта (внешние и внутренние), считается число повторений каждого анкора и отображается в таблице и на графике (на графике отображаются 30 первых анкоров).
![](https://habrastorage.org/getpro/habr/upload_files/a67/12c/da7/a6712cda71eeed86f380ea1f0d4f7c82.png)
Таким образом, теперь мы можем проанализировать, какие анкоры чаще всего встречаются на сайте, какие реже, а также увидеть распределение на графике плотность ключевых слов в гиперссылках.
3. Экспорт структуры в MindMap
Добавлена возможность экспорта структуры сайта в формат ментальных карт MindMap.
Ментальные карты (интеллект карты, MindMap) – это метод структуризации и визуализации концепций с использованием графической записи в виде диаграммы. Таким образом, ментальные карты помогают легко оперировать информацией, что делает их полезными для применения во многих областях жизни, в том числе и в SEO, в частности.
![](https://habrastorage.org/getpro/habr/upload_files/6c3/586/458/6c358645868011cbe47c4f9ebf33aea5.png)
Применительно к SiteAnalyzer, экспорт структуры сайта в майндкарты позволяет визуализировать текущую структуру сайта в виде удобных ментальных карт с возможностью их дальнейшего редактирования в трех самых популярных редакторах: MindManager, Xmind, Mindmeister и Coggle.
![](https://habrastorage.org/getpro/habr/upload_files/c92/fd4/2a2/c92fd42a28b5fae82cb871b4284a5d0f.png)
Методика экспорта структуры в MindManager:
При помощи вкладки «Структура» строим дерево страниц, затем экспортируем данные сайта в формат CSV при помощи кнопки «Экспорт структуры для MindManager».
Запускаем программу MindManager.
В ней через главное меню выбираем пункт Import -> Import using Excel Data Mapper.
В появившемся блоке справа жмем Next, в диалоге выбора файла выбираем только что экспортированный CSV.
Затем мы добавляем все недостающие колонки по числу колонок в экспортированном файле минус колонки с URL и Title страниц (для удобства можно использовать данный пресет).
Далее, для последнего блока URL добавляем подпункты с нашими колонками с URL и Title страниц, а также у первых пунктов мы в свойствах колонок выбираем скрытие пустых ячеек.
После нажатия на кнопку Apply мы видим получившуюся ментальную карту нашего сайта.
![](https://habrastorage.org/getpro/habr/upload_files/69d/3fb/a18/69d3fba182120dfc1a6cab785ae0e4b5.png)
Экспорт структуры в Xmind, Mindmeister и Coggle происходит еще проще:
При помощи вкладки «Структура» строим дерево страниц, затем экспортируем данные сайта в текстовый формат при помощи кнопок «Экспорт структуры для [Xmind,Mindmeister,Coggle]».
Далее открываем один из редакторов (Xmind бесплатен, в Mindmeister и Coggle авторизация через аккаунт Google).
В Mindmeister мы импортируем наш текстовый файл через «Мои карты -> Импорт», в Coggle – путем перетаскивания того же файла на рабочий стол нового документа Coggle, а в Xmind мы импортируем файл формата Markdown (*.md).
![Экспорт структуры сайта в Mindmeister Экспорт структуры сайта в Mindmeister](https://habrastorage.org/getpro/habr/upload_files/8a5/455/16d/8a545516d92a7628a14dd02217eea122.png)
![Экспорт структуры сайта в Coggle Экспорт структуры сайта в Coggle](https://habrastorage.org/getpro/habr/upload_files/160/8cd/56b/1608cd56bb1147b979639551704103ac.png)
![Экспорт структуры сайта в Xmind Экспорт структуры сайта в Xmind](https://habrastorage.org/getpro/habr/upload_files/7f2/fc8/7e1/7f2fc87e1ce7a3893bca3b1824210370.png)
Таким образом, теперь буквально за пару минут можно получить структуру сайта в виде интеллект карт в удобном визуальном формате и без лишних манипуляций.
4. Дубликаты проектов
Добавлена возможность создания дублей проектов (дубликаты сайтов по разным URL).
Данное нововведение поможет изолировать объемы работы над крупными проектами, чтобы разделять большие проекты и работать с ними по частям.
![](https://habrastorage.org/getpro/habr/upload_files/d35/76c/ce2/d3576cce272dae9942e7bbb51ab35fc3.png)
Правила добавления дубликатов URL: если новый проект уже имеется в базе и добавляемый URL является внутренней страницей сайта, то в фильтр «Следование URL» автоматически добавляется правило типа https://domain.tld/folder/.* и сохраняется в базе.
![](https://habrastorage.org/getpro/habr/upload_files/79d/eba/9dd/79deba9dd7fc6087d1532543fea6839b.png)
Таким образом, теперь для технического анализа отдельной части сайта нет необходимости по долгу ждать сканирование всего ресурса. Еще одним плюсом является то, что экспорт отчетов по проекту будет содержать меньше избыточных данных, а на графе визуализации сайта не будет лишних узлов и разделов.
5. Страницы-сироты (Orphan Pages)
Восстановлена работа фильтра по страницам-сиротам (Orphan Pages). Данный фильтр находится на вкладке «Статистика SEO».
![](https://habrastorage.org/getpro/habr/upload_files/f00/974/d40/f00974d402840a4b8ff1a3fad3f17930.png)
Страницы-сироты – это страницы, на которые не стоят внутренние ссылки (страницы без входящих внутренних ссылок). Таким образом, такая «бесхозная» страница не может быть найдена через навигацию сайта ни пользователем, ни поисковой системой, а может быть найдена лишь через файл Sitemap.xml или ссылки с внешних ресурсов, что обесценивает данный тип страниц в глазах поисковых систем.
От подобных бесхозных страниц необходимо либо избавляться, либо ставить на них внутренние ссылки, чтобы поисковые боты могли переходить на них естественным путем, а не только через Sitemap.xml.
Применительно к SiteAnalyzer, подобные бесхозные страницы могут быть обнаружены при импорте URL в проект, либо при сканировании и импорте URL из Sitemap.xml.
6. Циклические ссылки
Добавлен новый фильтр, содержащий «циклические» ссылки (ссылки со страницы на саму себя). Это могут быть ссылки из логотипа, из меню, из хлебных крошек и т.п. Данный фильтр находится в разделе «Custom Filters».
![](https://habrastorage.org/getpro/habr/upload_files/592/f27/75f/592f2775fe2ed566c1db2440371cde89.png)
Циклические ссылки не являются каким-то особо критичным недочетом на сайте, однако для целостности технической оптимизации сайта, у SEO-специалиста должно быть понимание, что те же ссылки из последнего элемента «хлебных крошек» или со ссылки номера активной страницы пагинации лучше убирать.
7. «Прокси» – время ответа
В разделе настроек «Прокси» добавлена колонка со временем ответа для каждого прокси в миллисекундах.
![](https://habrastorage.org/getpro/habr/upload_files/83e/5fd/2ca/83e5fd2cab06aa193e3a34d39b03e36e.png)
Это поможет пользователям оценить скорость работы каждого прокси и сразу удалять прокси, не удовлетворяющие по скорости (например, со временем ответа более 5 секунд). Время ответа для каждого прокси обновляется после каждой проверки его доступности.
Прочие изменения
Добавлен экспорт произвольно импортированного списка URL в режиме «проекта», а также парсинг вкладки H1-H6.
В лог программы добавлено информирование, если сайт запрещен к индексации через мета-тег «Robots» или через HTTP-заголовок «X-Robots-Tag».
Исправлен баг с редиректами, когда при сканировании страниц, отвечающих кодом 3xx, в столбце «Адрес перенаправления» было пусто.
Теперь настройки разделов «Юзер-агент», «Исключения URL» и «Следование URL» сохраняются отдельно для каждого проекта.
Модуль обновления программы теперь встроен в саму программу, за счет чего размер дистрибутива уменьшился на 2 Мб.
Добавлена возможность указания произвольных названий к HTTP заголовкам (параметры стали редактируемыми).
Теперь при возобновлении проекта из паузы % прогресса считается со значения на момент паузы, а не с 0%.
Добавлена возможность проверки индексации страниц для произвольно импортированного списка URL.
Исправлен баг «Access Violation», возникающий после удаления только что созданного проекта.
Исправлен баг, когда при экспорте кастом отчета в Excel дублировалась последняя строка.
Исправлено некорректное извлечение данных для произвольно импортированного списка URL.
Исправлен баг с пустыми анкорами ссылок и текстами ALT изображений на панели «Инфо».
Исправлено множество незначительных ошибок.
Планы и перспективы развития
В ближайших перспективах развития программы мы планируем добавить интеграцию SiteAnalyzer с системами аналитики Яндекс и Google, добавить возможность полноценного рендеринга сайтов на JavaScript, сделать работу программы более стабильной, а также добавить множество других полезных дополнений.
Сайт проекта: site-analyzer.ru
Будем рады любым замечаниям и предложениям по работе и развитию функционала программы.