Во времена работы над своей диссертацией я столкнулся с проблемой нехватки вычислительных мощностей для имитационного моделирования изучаемого процесса. На тот момент я выкрутился за счёт доброты окружавших меня людей, которые позволили в течение двух летних месяцев круглосуточно использовать два компьютерных класса ОмГУ. Благо план моего эксперимента позволил мне вручную «распределить» по компьютерам обрабатываемые данные и всё завершилось вполне удачно. Однако в голове застрял вопрос о других вариантах распределения вычислений. И вот у меня возникла идея…

Очень часто разработчики сайтов, дизайнов или тем для блогов (сайтов) берут за основу некий существующий дизайн и изменяют его согласно своим предпочтениям. Однако, профессионалов вёрстки мало, да и разбираться в чужом коде бывает сложно. Поэтому многочисленны случаи, когда в css-файле сайтов остаются описания стилей, которые «не востребованы шаблоном», т.е. не используются на сайте.

«Биржи ссылок» это инструмент влияния на поисковые системы. Мой же проект вообще никакого отношения к поисковикам не имеет — ссылки расставляются javascript-ом и для каждого посетителя сайта набор может быть разным. И даже больше — позволяет сайтам «оторваться» и перестать зависеть от поискового трафика «напрямую».

Опишу идею стартапа, которую хочу реализовать.

 

Размышляя над «удешевлением» мониторинга за обновлениями нужных веб-страниц сформулировал концепцию «сенсоров». Ранее упоминаний не встречал, поэтому публикую здесь и сейчас.

Суть концепции кроется в специальной доработке программного обеспечения Web-сервера, т.е. в создании и подключении некоего программного модуля, который будет «следить» за поступающими HTTP-запросами и «слушать» ответы сервера. Каждому запросу (на основе информации http-заголовков может быть составлен уникальный идентификатор запрашиваемого ресурса) должен сопоставляться ответ (может быть обработан по алгоритму md5 или аналогичному) сервера. На следующем шаге эта пара ищется в уже накопленной Web-сервером базе мета-описаний ресурсов. При обнаружении изменений предлагается сразу (или по мере разгрузки Web-сервера) послать основному публичному серверу некое мета-описание найденных изменений (например, используя GET запрос, в котором в качестве параметров будет закодирована мета-информация). Собственно поэтому (очевидна аналогия с применяемыми в технической практике различными сенсорами) я и решил назвать модуль «сенсором». А далее, уже с публичного сервера, информация об обновлении страницы или любого другого контент-ресурса может быть получена любым «потребителем» по запросу или иным способом. Думаю идея ясна.

Данную концепцию уже относительно давно (в 2005 году) изложил в своей диссертации. Правда акцент диссертации был на создании системы моделирования процесса мониторинга веб-сайтов и поэтому концепция сенсоров толком не обсуждалась. Сейчас, пока сижу без работы, решил приобщить хабросообщество к своим исследованиям и надеюсь получить интересный (в своё время достучатся до заинтересованных людей так и не смог) отклик. Заранее спасибо за участие в дискуссии!

ЗЫ: Мой имитационный эксперимент показал большую эффективность (читай оптимальность по параметрам «свежесть» и «экономия трафика») системы мониторинга на основе сенсоров нежели классической системы мониторинга (например, роботы поисковых систем).