Как работает web-spider

[brujeo]

Спасибо, интересная статья. Хотелось бы более подробного описания этой реально-действующей системы, да и статистика бы не помешала (какие объёмы информации обрабатываете, как часто и т.д.)

[SpiderMan]

Хорошо, подумаю о какой части написать более подробно. Цифры приведу.

[tgm]

Вообще интересно о веь спайдерах почитать.
Может есть удобные функциональные проги.