Интересная идея. Только как-то не по себе от того, что у вас рандом решает, что кэшировать, а что нет. Обычно предлагают решать «клиенту» ( например, setCacheBlocks(false) для больших сканов).
Еще было бы интересно посмотреть, как себя ведет себя BucketCache, где нет оверхеда, связанного с GC.
Большое спасибо за статью. Вставлю свои 5 копеек про мониторинг.
1. Если у Вас Cloudera (судя по скриншотам у автора она), можно глянуть, сколько CPU/памяти выделяется но не используется в «Cluster Utilization Reports» (есть поле «unused capacity» для CPU и памяти), или можно по REST API смотреть/получать эти же данные (метрики unused_memory_seconds, unused_vcore_seconds).
2. У YARN есть свой REST API. Если есть доступ, можно его использовать в скриптах вместо «yarn application -list» и «yarn application -status»
Bombardier увеличила себестоимость снегоходов, решив заплатить страховщику. Если на рынке есть еще один производитель, который решит рискнуть (не связываться со страховщиком, надеясь на холодную зиму), все покупатели будут покупать у второго по более низкой цене. При таком раскладе bombardier разорится (либо разорятся оба в случае теплой зимы, либо разорится только bombardier в случае холодной).
Не так давно был пост на похожую тематику, где автор писал, что у него практически пропали все эмоции. Например, он не улавливает шуток, не понимает в каком месте смеяться. Каково Вам в этом смысле? Можете чувствовать радость, страх, гнев?
Интересно, как будут проверять на соответствие закону. Вот если я пользователю говорю, что вся его приватная информация по его запросу удалена. А на самом деле она просто больше не видна извне… Вот прям представляю, как ко мне в Первомайск приезжает аудитор из Германии, подсаживается — «Битте, давайте посмотрим, не хранятся ли у вас IP пользователей в логах веб-сервера»
Что это за лимит в 50 partitions? Откуда он?
Трафик на посторонний домен, на который до обновления ничего не было?
Скажите, у flink есть какие-либо преимущества по сравнению со spark streaming?
Еще было бы интересно посмотреть, как себя ведет себя BucketCache, где нет оверхеда, связанного с GC.
А где "мифы" из заголовка?
Можно поинтересоваться, каковы они, "сберовские масштабы"? Сколько у вас данных в HDFS? Или сколько нод в самом большом кластере?
Испанская статистика. Общая смертность. https://momo.isciii.es/public/momo/dashboard/momo_dashboard.html#nacional
1. Если у Вас Cloudera (судя по скриншотам у автора она), можно глянуть, сколько CPU/памяти выделяется но не используется в «Cluster Utilization Reports» (есть поле «unused capacity» для CPU и памяти), или можно по REST API смотреть/получать эти же данные (метрики unused_memory_seconds, unused_vcore_seconds).
2. У YARN есть свой REST API. Если есть доступ, можно его использовать в скриптах вместо «yarn application -list» и «yarn application -status»
А чего кафки-то только две? Раз уж три ноды решили разворачивать.
Не понимаю, что нового автор предложил. Если эти его "домены" и "дата-продукты" переназвать "базы данных", все остается как есть.
Bombardier увеличила себестоимость снегоходов, решив заплатить страховщику. Если на рынке есть еще один производитель, который решит рискнуть (не связываться со страховщиком, надеясь на холодную зиму), все покупатели будут покупать у второго по более низкой цене. При таком раскладе bombardier разорится (либо разорятся оба в случае теплой зимы, либо разорится только bombardier в случае холодной).
Не так давно был пост на похожую тематику, где автор писал, что у него практически пропали все эмоции. Например, он не улавливает шуток, не понимает в каком месте смеяться. Каково Вам в этом смысле? Можете чувствовать радость, страх, гнев?
Хехе. В Hive все это уже появилось
hdfs dfs -ls
http://zookeeper.apache.org, наверное, самый известный проект. Это не совсем paxos, но близкий алгоритм.
Странный результат, учитывая то, что Java это еще и остров, а python — еще и змея.
Модель простовата. Я бы применил нейронные сети. В прошлый раз живой осминог неплохо себя показал