Вы невнимательно читали. Предлагали.
Не трудно понять, что если сайты банят поисковик, то, какой бы он внутри не был (хороший или плохой), находить он ничего не сможет. Т.е. сами способствуем тому, чтобы деньги были потрачены впустую.
bulkload, по сути своей — перемещение HFile-ов из входной директории в хранилище HBase (+ инициализация новых файлов, + проверка на то, что не изменились границы регионов, пока эти HFile-ы создавались). Это во много раз быстрее, многочисленных Put-ов…
Единственное, надо иметь ввиду, что при загрузке данных сразу в несколько семейств колонок, происходит попытка заблокировать очередной регион на запись. В случае, если идут какие-то другие опреации (например какая-то MR-задача читает данные из HBase или идёт процесс компакшена), попытка получить write lock может затянуться.
Время, которое тратится на формирование HFile-ов из сходных CSV файлов (по сути, время MR-задачи) можно попытаться оптимизировать настройками.
Там есть упоминание gu.gas-u.ru
Может компания, в которой работает (работал) автор коммента как-то взаимодействует с этой системой (http://gas-u.ru/), просто он не знает об этом.
Автор того поста «накинул на вентилятор» и исчез, так ничего и не предъявив толком из доказательств. А у двух человек, отписавшихся там, никаких проблем с ддосом не наблюдалось (задержки между запросами не менее 2 секунд, даже без явного указания в robots.txt).
Вы уже сейчас мыслите категориями «забанить», «заблокировать». Когда вы «проникнете во власть», ничего коренным образом не изменится в вашем сознании, а касательно ситуации — как бы хуже не стало…
Конкретно в данной ситуации проблема в том, что сервак автора ддосит робот электронного правительства, игнорируя robots.txt, но:
1. Автор разместил «пару сотен сайтов» на «одном сервере», при параллельном доступе к сайтам очевидно будет много запросов;
2. Автор не привёл никаких данных, подтверждающих нарушение правил для роботов — ни примера robots.txt хотя бы одного сайта, ни кусков access.log хотя бы одного сайта;
3. У двух комментаторов к топику робот из этой подсети качает страницы с задержкой не менее 2 секунд, даже если задержка явно не указана в robots.txt. Т.е. ддосом назвать это сложно.
Ну а вопрос: «Спрашивается, что им надо от моих сайтов?», по-видимому, риторический. Кто ж здесь на него ответит?
Скорее, вы усложните жизнь не тем, кто придумывает, скажем так, плохие законы, всем, кто каждый день ходит на работу в организации, чьи подсети собираетесь забанить. А кучка злодеев останется безнаказанной, как это обычно и бывает (мобильники, планшеты — уверен, в рабочем кабинете со стационарного компа они в инет лазят реже, чем в каком-нибудь зале заседаний с iPad-а; ну и конечно же прокси, интернет из дома и т.п.)
Честно говоря, не знаю подробностей действия законов, и порядка работы суда и т.п. Но наверняка для обращения в суд достаточно заявления, а там уж, для получения доказательств суд обяжет вас разбанить определённые IP-адреса, в итоге смысл всей затеи опять сведётся на нет.
Всё равно смысл не понятен. Ну не смогут зайти сами — забанят по доносу от «конкурента». Даже разбираться потом не будут, скажут: «Нам поступила информация от анонимного источника, вы подсовываете нам заглушку, наверное есть, что скрывать, поэтому мы склонны верить полученной информации. Давайте до свидания...»
Не трудно понять, что если сайты банят поисковик, то, какой бы он внутри не был (хороший или плохой), находить он ничего не сможет. Т.е. сами способствуем тому, чтобы деньги были потрачены впустую.
Не хочешь пользоваться сам — не пользуйся, но зачем другим мешать?
Единственное, надо иметь ввиду, что при загрузке данных сразу в несколько семейств колонок, происходит попытка заблокировать очередной регион на запись. В случае, если идут какие-то другие опреации (например какая-то MR-задача читает данные из HBase или идёт процесс компакшена), попытка получить write lock может затянуться.
Время, которое тратится на формирование HFile-ов из сходных CSV файлов (по сути, время MR-задачи) можно попытаться оптимизировать настройками.
Может компания, в которой работает (работал) автор коммента как-то взаимодействует с этой системой (http://gas-u.ru/), просто он не знает об этом.
1. Автор разместил «пару сотен сайтов» на «одном сервере», при параллельном доступе к сайтам очевидно будет много запросов;
2. Автор не привёл никаких данных, подтверждающих нарушение правил для роботов — ни примера robots.txt хотя бы одного сайта, ни кусков access.log хотя бы одного сайта;
3. У двух комментаторов к топику робот из этой подсети качает страницы с задержкой не менее 2 секунд, даже если задержка явно не указана в robots.txt. Т.е. ддосом назвать это сложно.
Ну а вопрос: «Спрашивается, что им надо от моих сайтов?», по-видимому, риторический. Кто ж здесь на него ответит?