Как стать автором
Обновить
40
0
facha @facha

Пользователь

Отправить сообщение
Каждый topic бьется на части до 50 partitions

Что это за лимит в 50 partitions? Откуда он?

Трафик на посторонний домен, на который до обновления ничего не было?

Скажите, у flink есть какие-либо преимущества по сравнению со spark streaming?

Интересная идея. Только как-то не по себе от того, что у вас рандом решает, что кэшировать, а что нет. Обычно предлагают решать «клиенту» ( например, setCacheBlocks(false) для больших сканов).

Еще было бы интересно посмотреть, как себя ведет себя BucketCache, где нет оверхеда, связанного с GC.

А где "мифы" из заголовка?

Можно поинтересоваться, каковы они, "сберовские масштабы"? Сколько у вас данных в HDFS? Или сколько нод в самом большом кластере?

Испанская статистика. Общая смертность. https://momo.isciii.es/public/momo/dashboard/momo_dashboard.html#nacional

Большое спасибо за статью. Вставлю свои 5 копеек про мониторинг.
1. Если у Вас Cloudera (судя по скриншотам у автора она), можно глянуть, сколько CPU/памяти выделяется но не используется в «Cluster Utilization Reports» (есть поле «unused capacity» для CPU и памяти), или можно по REST API смотреть/получать эти же данные (метрики unused_memory_seconds, unused_vcore_seconds).
2. У YARN есть свой REST API. Если есть доступ, можно его использовать в скриптах вместо «yarn application -list» и «yarn application -status»

А чего кафки-то только две? Раз уж три ноды решили разворачивать.

Не понимаю, что нового автор предложил. Если эти его "домены" и "дата-продукты" переназвать "базы данных", все остается как есть.

Bombardier увеличила себестоимость снегоходов, решив заплатить страховщику. Если на рынке есть еще один производитель, который решит рискнуть (не связываться со страховщиком, надеясь на холодную зиму), все покупатели будут покупать у второго по более низкой цене. При таком раскладе bombardier разорится (либо разорятся оба в случае теплой зимы, либо разорится только bombardier в случае холодной).

Не так давно был пост на похожую тематику, где автор писал, что у него практически пропали все эмоции. Например, он не улавливает шуток, не понимает в каком месте смеяться. Каково Вам в этом смысле? Можете чувствовать радость, страх, гнев?

Мы у себя включили Admission control и установили пулы с ограничениями по памяти + MEM_LIMIT на каждый запрос. После этого ООМов не наблюдали.

Хехе. В Hive все это уже появилось

http://zookeeper.apache.org, наверное, самый известный проект. Это не совсем paxos, но близкий алгоритм.

Если искать по количеству запросов в google trends, по 'С++' будет в три раз больше запросов, чем по 'Java', у 'Python' 

Странный результат, учитывая то, что Java это еще и остров, а python — еще и змея.

Модель простовата. Я бы применил нейронные сети. В прошлый раз живой осминог неплохо себя показал

Для Spark Streaming backpressure использовать пробовали?
Интересно, как будут проверять на соответствие закону. Вот если я пользователю говорю, что вся его приватная информация по его запросу удалена. А на самом деле она просто больше не видна извне… Вот прям представляю, как ко мне в Первомайск приезжает аудитор из Германии, подсаживается — «Битте, давайте посмотрим, не хранятся ли у вас IP пользователей в логах веб-сервера»
1
23 ...

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность