Мы сделали harvester и разместили его на ec2. Плюс ec2 в том, что вы можете программно управлять количеством машин. Т. е. если у вас мертвый сезон, то работает где-то 10 машин. Если у вас раш, то запускаете 30 на время.
Есть у amazon-а один недостаток. Если вы сканите сайты и кто-нибудь из этих сайтов пожалуется в амазон на вас, то амазон высылает вам письмо, чтоб вы в течении 24 часов прекратили бомбить этот ресурс. Если же вы не остановитесь, то ваш аккаунт выключат.
Есть у amazon-а один недостаток. Если вы сканите сайты и кто-нибудь из этих сайтов пожалуется в амазон на вас, то амазон высылает вам письмо, чтоб вы в течении 24 часов прекратили бомбить этот ресурс. Если же вы не остановитесь, то ваш аккаунт выключат.