Парсинг для взрослых или Инфраструктура для промышленного парсинга

Отличный пост! Неплохо было бы еще рассказать про скрепи, например самые тяжелые случаи — новостные сайты, например...