Текстовые произведения (повести, рассказы, романы) традиционно публиковались в виде бумажных книг, однако с развитием сетевых технологий классические книги все более вытесняются электронными средствами публикации. Копирование же информации и тем более текстовой является в сети задачей не простой, а очень простой. В связи с этим возникает проблема нелегального копирования авторских произведений – авторы недовольны. Пользователи, думаю, тоже недовольны, потому как во-первых воровать это плохо, а во-вторых приверженцы копирайта создают искусственные барьеры и ограничения для распространения данных в сети.

Занимаясь разработкой анализатора кода PVS-Studio для поиска проблем в 64-битных и параллельных программах, нам понадобилось собирать свежую информацию в сети интернет по некоторым темам. Например, всегда полезно отвечать в форумах и блогах на вопросы программистов, которым может быть интересен наш инструмент. В процессе сбора выяснилось, что информации в сети немало и вручную производить поиск весьма долго и утомительно, откуда появилась задача автоматизации поиска свежих данных. В этой записи мы расскажем, как делаем это.