Мне понадобилось для своих сайтов запускать еженедельную проверку битых и несуществующих ссылок. Потратив пол часа на интернет-серфинг, я нашел несколько достойных консольных приложений (так как сервера у меня на Windows, то хотел использовать для этой задачи TaskSheduler). Все они оказались платные. А так как я мог выделить себе немного свободного времени, и задача на первый взгляд показалась не сложной, решил написать свое.
Отталкиваться решил вот от этой реализации: WebSpider, но, как оно обычно бывает в конечном итоге, почти все переписал, как мне нравится.
Составил себе небольшой список, того, что мне требуется и понемногу вычеркиваю из него таски:
| Задача | Описание | Статус |
| Рекурсивно собрать все ссылки | Пробежаться по всем страницам в рамках одного сайта и собрать все ссылки | Сделано |
| Проверить N ссылок | В основном для отладочных целей, остановиться после проверки N ссылок | Сделано |
| Сохранить результат в файл | Сохранение в TXT | Сделано |
| Сохранить результат используя html template | Для удобства чтения + прикрутить плагин jquery data table для фильтрации и сортировки | Сделано |
| Показывать только ошибки | В файл репорте показывать только битые ссылки | Сделано |
| Опция архивирования файла репорта | Добавить поддержку 7zip | Не сделано |
| Посылать результат по почте | Добавить поддержку консольного мейлера | Не сделано |
| Показывать в репорте редиректы | Правильно обрабатывать все редиректы и выводить информацию о них в репорте | Не сделано |
| Добавить логирование | Добавить библиотек Log4Net | Не сделано |
| Общая информация о процессе в html темплейте | Показывать когда начался процесс обработки, когда закончился, и другую общую информацию в html темплейте | Не сделано |
| Проверить и настроить правильную обработку редиректов | Не сделано | |
| app.config конфигурация по умолчанию | Так как стало слишком много параметров для утилиты, решил, что надо сделать конфигурацию по умолчанию из app.config | Не сделано |
Программа простая до безобразия:
1. На вход подается URI, для которого скачивается контент и в контенте ищутся ссылки при помощи регулярного выражения:
public const string UrlExtractor = @"(?: href\s*=)(?:[\s""']*)(?!#|mailto|location.|javascript|.*css|.*this\.)(?<url>.*?)(?:[\s>""'])";2. Все найденные ссылки, если они относятся к данному сайту, помещаются в хештейбл, где ключ — это абсолютное URI, чтобы не было дублирования.
3. Для каждой ссылки из таблицы хешей мы создаем Request и пытаемся получить Response, и читаем возвращаемый статус:
public bool Process(WebPageState state)
{
state.ProcessSuccessfull = false;
HttpWebRequest request = (HttpWebRequest) WebRequest.Create(state.Uri);
request.Method = "GET";
WebResponse response = null;
try
{
response = request.GetResponse();
if (response is HttpWebResponse)
state.StatusCode = ((HttpWebResponse) response).StatusCode;
else if (response is FileWebResponse)
state.StatusCode = HttpStatusCode.OK;
if (state.StatusCode.Equals(HttpStatusCode.OK))
{
var sr = new StreamReader(response.GetResponseStream());
state.Content = sr.ReadToEnd();
if (ContentHandler != null)
ContentHandler(state);
state.ProcessSuccessfull = true;
}
}
catch (Exception ex)
{
// обработка ошибок todo: сделать отдельные catch блоки
}
finally
{
if (response != null)
{
response.Close();
}
}
return state.ProcessSuccessfull;
}
Все остальное это красивости и энтропия.
Из интересного: использовал для удобного парсинга консольных параметров вот этот пакет https://nuget.org/packages/ManyConsole.
В итоге для обработки параметра, все что от меня требуется это создать вот такой вот класс:
public class GetTime : ConsoleCommand
{
public GetTime()
{
Command = "get-text";
OneLineDescription = "Returns the current system time.";
}
public override int Run()
{
Console.WriteLine(DateTime.UtcNow);
return 0;
}
}
P.S. И В заключении, так как проект пишу для себя и все еще в процессе, то добавил его на github https://github.com/alexsuslin/LinkInspector
Ах, да… кому все-таки интерсно визуально посмотреть что получается в итоге, вот это в консоле:
D:\WORK\Projects\Own\LinkInspector\LinkInspector\bin\Debug>LinkInspector.exe -u www.google.com -n=10 -ff=html -e
Executing -u (Specify the Url to inspect for broken links.):
======================================================================================================
Proccess URI: www.google.com
Start At : 2011-12-21 04:56:09
------------------------------------------------------------------------------------------------------
0/1 : [ 2.98s] [200] : www.google.com
1/7 : [ 0.47s] [200] : accounts.google.com/ServiceLogin?hl=be&continue=http://www.google.by/
2/6 : [ 0.22s] [200] : www.google.com/preferences?hl=be
3/5 : [ 0.27s] [200] : www.google.com/advanced_search?hl=be
4/7 : [ 0.55s] [200] : www.google.com/language_tools?hl=be
5/341 : [ 0.21s] [200] : www.google.by/setprefs?sig=0_OmYw86q6Bd9tjRx1su-C4ZbrJUU=&hl=ru
6/340 : [ 0.09s] [200] : www.google.com/intl/be/about.html
7/361 : [ 0.30s] [200] : www.google.com/ncr
8/361 : [ 0.21s] [200] : accounts.google.com/ServiceLogin?hl=be&continue=http://www.google.com/advanced_search?hl=be
9/360 : [ 0.13s] [200] : www.google.com/webhp?hl=be
------------------------------------------------------------------------------------------------------
Pages Processed: 10
Pages Pending : 0
End At : 2011-12-21 04:56:14
Elasped Time : 0h 0m 5s 456ms
======================================================================================================
или вот это вот скриншот репорта в html темплейте
P.P.S. Попросили скомпилированные бинарники, вот пожалуйста: скачать Link Inspector 0.1 alpha
