> Ну мы вроде бы описали, что Zookeeper сильно видоизменен и используется в особом режиме.
Это вы потом написали, аж в другом параграфе, отделённом заголовком. Сначала вы написали, что зукипер для очередей, что не совсем правда.
У kafka вроде бы всё хорошо с объёмами данных, отключенными нодами, очередностью сообщений и вот этим всем. Если у вас уже есть kafka в другом месте, то накладные расходы на поддержу должны быть меньше, нежели с самописными надстройками над zk.
> ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.
Split-brain на четном количестве нод решается выставлением минимальной доступности 2 мастеров и установкой master-only ноды, которая есть почти не просит.
GC не просто так начинает выполняться по 20 секунд, стоит ограничить fielddata cache и filter cache, если не влезаете в heap. Ну и bloom filter на исторических данных лучше выключать, потому как много ест, а толку ноль.
На самом деле, если иметь 3 ноды, 1 реплику и больше 2 шардов на индекс в elasticsearch (это дефолтные настройки как минимум), то бекап из статьи будет неполным.
> 15% гостей церемонии открытия Олимпиады делились впечатлениями на скоростях 4G в сетях «МегаФона». Причем именно эти клиенты сгенерировали половину всего интернет-трафика на стадионе «Фишт» в этот вечер — всего за время церемонии открытия клиенты «МегаФона» передали и скачали более 400 ГБ в сетях 2G/3G/4G.
400 ГБ (весь трафик) / 2.5 часа (продолжительность открытия) * 15% (устройства с 4G) = 6.83 мегабайта в секунду в среднем, так себе стресс-тест :)
Если не брать только 4g, но и вообще все 400 ГБ, то 45.5 мегабайт в секунду. Было бы интереснее посмотреть на графики с пиковыми значениями и пояснениями. Наверное некоторые части открытия были более популярны в плане использования трафика.
> Во время динамичного шоу по сети «МегаФона» ежесекундно передавались сотни тысяч фото и видео-крупиц зрительских впечатлений.
Сотни тысяч крупиц — это классно. Нельзя ли уточнить, сколько в одной крупице байт?
> Так же была добавлена отложенная запись на диск, это позволяет «склеивать» несколько I/O-операций по ключу в одну — это очень хорошо заметно, если делается много append-записей в конец файлов, например в случае хранения логов.
Вопрос был об этом, но ваше объяснение всё поставило на места.
Это вы потом написали, аж в другом параграфе, отделённом заголовком. Сначала вы написали, что зукипер для очередей, что не совсем правда.
У kafka вроде бы всё хорошо с объёмами данных, отключенными нодами, очередностью сообщений и вот этим всем. Если у вас уже есть kafka в другом месте, то накладные расходы на поддержу должны быть меньше, нежели с самописными надстройками над zk.
kafka.apache.org/08/ops.html
engineering.linkedin.com/kafka/intra-cluster-replication-apache-kafka
Вы уверены? В apache так не считают: zookeeper.apache.org
> ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.
Всё же kafka тут лучше подошел бы, мне кажется.
go -race давно отлавливает потоконебезопасный доступ к данным.
Тут с разных сторон можно прочитать, что с чем идёт :)
кибана идёт сама по себе.
Конечно у вас big data, не вздумайте даже сомневаться.
research.microsoft.com/en-us/people/mickens/thenightwatch.pdf
research.microsoft.com/en-us/people/mickens/nestofhornets.pdf
research.microsoft.com/en-us/people/mickens/thesaddestmoment.pdf
research.microsoft.com/en-us/people/mickens/nestofhornets.pdf
research.microsoft.com/en-us/people/mickens/theslowwinter.pdf
А вот для Super Bowl:
400 ГБ (весь трафик) / 2.5 часа (продолжительность открытия) * 15% (устройства с 4G) = 6.83 мегабайта в секунду в среднем, так себе стресс-тест :)
Если не брать только 4g, но и вообще все 400 ГБ, то 45.5 мегабайт в секунду. Было бы интереснее посмотреть на графики с пиковыми значениями и пояснениями. Наверное некоторые части открытия были более популярны в плане использования трафика.
> Во время динамичного шоу по сети «МегаФона» ежесекундно передавались сотни тысяч фото и видео-крупиц зрительских впечатлений.
Сотни тысяч крупиц — это классно. Нельзя ли уточнить, сколько в одной крупице байт?
Вопрос был об этом, но ваше объяснение всё поставило на места.