Как работает web-spider

[@brujeo]

Спасибо, интересная статья. Хотелось бы более подробного описания этой реально-действующей системы, да и статистика бы не помешала (какие объёмы информации обрабатываете, как часто и т.д.)

[@SpiderMan]

Хорошо, подумаю о какой части написать более подробно. Цифры приведу.

[@tgm]

Вообще интересно о веь спайдерах почитать.
Может есть удобные функциональные проги.