Размышляя над «удешевлением» мониторинга за обновлениями нужных веб-страниц сформулировал концепцию «сенсоров». Ранее упоминаний не встречал, поэтому публикую здесь и сейчас.
Суть концепции кроется в специальной доработке программного обеспечения Web-сервера, т.е. в создании и подключении некоего программного модуля, который будет «следить» за поступающими HTTP-запросами и «слушать» ответы сервера. Каждому запросу (на основе информации http-заголовков может быть составлен уникальный идентификатор запрашиваемого ресурса) должен сопоставляться ответ (может быть обработан по алгоритму md5 или аналогичному) сервера. На следующем шаге эта пара ищется в уже накопленной Web-сервером базе мета-описаний ресурсов. При обнаружении изменений предлагается сразу (или по мере разгрузки Web-сервера) послать основному публичному серверу некое мета-описание найденных изменений (например, используя GET запрос, в котором в качестве параметров будет закодирована мета-информация). Собственно поэтому (очевидна аналогия с применяемыми в технической практике различными сенсорами) я и решил назвать модуль «сенсором». А далее, уже с публичного сервера, информация об обновлении страницы или любого другого контент-ресурса может быть получена любым «потребителем» по запросу или иным способом. Думаю идея ясна.
Данную концепцию уже относительно давно (в 2005 году) изложил в своей диссертации. Правда акцент диссертации был на создании системы моделирования процесса мониторинга веб-сайтов и поэтому концепция сенсоров толком не обсуждалась. Сейчас, пока сижу без работы, решил приобщить хабросообщество к своим исследованиям и надеюсь получить интересный (в своё время достучатся до заинтересованных людей так и не смог) отклик. Заранее спасибо за участие в дискуссии!
ЗЫ: Мой имитационный эксперимент показал большую эффективность (читай оптимальность по параметрам «свежесть» и «экономия трафика») системы мониторинга на основе сенсоров нежели классической системы мониторинга (например, роботы поисковых систем).
Суть концепции кроется в специальной доработке программного обеспечения Web-сервера, т.е. в создании и подключении некоего программного модуля, который будет «следить» за поступающими HTTP-запросами и «слушать» ответы сервера. Каждому запросу (на основе информации http-заголовков может быть составлен уникальный идентификатор запрашиваемого ресурса) должен сопоставляться ответ (может быть обработан по алгоритму md5 или аналогичному) сервера. На следующем шаге эта пара ищется в уже накопленной Web-сервером базе мета-описаний ресурсов. При обнаружении изменений предлагается сразу (или по мере разгрузки Web-сервера) послать основному публичному серверу некое мета-описание найденных изменений (например, используя GET запрос, в котором в качестве параметров будет закодирована мета-информация). Собственно поэтому (очевидна аналогия с применяемыми в технической практике различными сенсорами) я и решил назвать модуль «сенсором». А далее, уже с публичного сервера, информация об обновлении страницы или любого другого контент-ресурса может быть получена любым «потребителем» по запросу или иным способом. Думаю идея ясна.
Данную концепцию уже относительно давно (в 2005 году) изложил в своей диссертации. Правда акцент диссертации был на создании системы моделирования процесса мониторинга веб-сайтов и поэтому концепция сенсоров толком не обсуждалась. Сейчас, пока сижу без работы, решил приобщить хабросообщество к своим исследованиям и надеюсь получить интересный (в своё время достучатся до заинтересованных людей так и не смог) отклик. Заранее спасибо за участие в дискуссии!
ЗЫ: Мой имитационный эксперимент показал большую эффективность (читай оптимальность по параметрам «свежесть» и «экономия трафика») системы мониторинга на основе сенсоров нежели классической системы мониторинга (например, роботы поисковых систем).
