автоматические проверки могут работать и по выдаче Яндекса или Гугла. Получается, надо и их банить. С другой стороны, если с контентом всё ОК, чего бояться?
(«несколько сотен сайтов») * (несколько запросов в минуту) = (несколько тысяч запросов в минуту)
Вроде всё логично, то же самое будет и с обычными пользователями.
Ну и подробности тоже интересны, что у вас за сайты такие, которые сотнями помещаются на сервер, и в чём заключается игнорирование robots.txt?
Во всяком случае, ему никто эту работу не заказывал и никто за неё ничего не обещал. Если уж решил сделать — молодец, спасибо. Но если при этом ещё и денег требуешь (явно или продавая рекламу) — оставь себе своё поделие и не выноси на люди. Кому надо, сами найдут в App Store. А кому не надо, через браузер посмотрят, благо Reader + различные возможности сохранения ссылок и контента существуют и без этой программы. Да и давать полный доступ к своему аккаунту какой-то левой проге инди-разработчика — по меньшей мере, смешно.
В двух словах, имеем две NameNode (active и standby) и общее хранилище, к которому они имеют доступ на чтение/запись. Таким общим хранилищем может быть директория где-нибудь в NFS. Все запросы клиентов идут на active NN, изменения пишутся в общее хранилище, их там подхватывает standby NN. Если active ломается, то standby становится active, перед этим применив все изменения из общего хранилища (если вдруг какие-то не были применены).
DataNode работает и с active, и с standby.
А какой хоть порядок задержек?
Вроде всё логично, то же самое будет и с обычными пользователями.
Ну и подробности тоже интересны, что у вас за сайты такие, которые сотнями помещаются на сервер, и в чём заключается игнорирование robots.txt?
Это ж всё на чистом энтузиазме.
Версия без рекламы33 р.»
Делаешь доброе дело — делай бескорыстно.
В двух словах, имеем две NameNode (active и standby) и общее хранилище, к которому они имеют доступ на чтение/запись. Таким общим хранилищем может быть директория где-нибудь в NFS. Все запросы клиентов идут на active NN, изменения пишутся в общее хранилище, их там подхватывает standby NN. Если active ломается, то standby становится active, перед этим применив все изменения из общего хранилища (если вдруг какие-то не были применены).
DataNode работает и с active, и с standby.