Тут хорошая статья была, про «проблемы Гуяндбуков» как раз про это. С высоты моего небольшого опыта могу сказать, что сильно от HR-отдела компании зависит. Точнее от установок, которые выданы топами (если им, конечно не пофиг). В моей нынешней компании, например, абсолютно неважно в какую команду попадёшь — везде старательно проводится одинаковая культурная политика и выработка общей (шикарной по сравнению со всем предыдущим опытом), культуры по компании. В предыдущей было с точностью до наоборот.
Плюс много.
А ещё, учитывая, что лодку надо сдать заправленной — у заправки будет толкотня. Так что вернуться к 16-и часам в пятницу — норма. Ибо в 9 утра субботы яхтенная неделя заканчивается.
Живу в Финляндии. Тиммейты, в основном, финны. Тимлид — датчанин, менеджер — индус, босс американец. В постоянном круге общения турок, китаец, два мексиканца и иранец.
По первоначальным ощущениям тяжелее всего было разбирать акцент датчанина (похож на немецкий, но значительно мягче). По опыту — «ухо» тренируется где-то месяца три. Потом никаких проблем не возникает уже ни с какими акцентами.
Кроме, может быть, французского — до сих пор корёжит.
Там же, в доках, указано что остальное используется под кеши ядра и при нехватке свободной памяти производительность будет проседать:
Lucene makes good use of the filesystem caches, which are managed by the kernel. Without enough filesystem cache space, performance will suffer. Furthermore, the more memory dedicated to the heap means less available for all your other fields using doc values.
А, вот теперь я понял что вы имели в виду «Какой % памяти на data ноде отдаете под heap? 50%?»
Отвечаю — дата-нодам мы выдаем 32 гб. А сервера под дата-ноды закупаем с 64-128 (что чаще) Гб памяти на борту. У нас объемы такие, что дата-нодам отдаем максимум того, что они могут использовать.
Да много чего по кластеру надо делать, сервис (в его нынешней конфигурации), существует уже восемь месяцев, изменения назрели. Но это буду делать, увы, уже не я.
Миграция шард — да, это головная боль. В среднем миграция данных за одни сутки занимает около 8 часов. И хоть гоняется ночью, но к утреннему росту нагрузки уж еле-еле поспевает.
1. Память для дата-нод выделяли сразу по максимуму — 32 гб. И то не хватает периодически. Была мысль попробовать перейти на 64 гб с использованием другого GC (Shenandoah), но руки не дошли и, боюсь, что уже не дойдут. А вот для клиентских нод (в которые смотрит Kibana), подбирали опытным путем, да. Через некоторое время дошли до 24 гб и на этом остановились.
2. «Какой % памяти на data ноде отдаете под heap? 50%?» — вопроса не понял, уточните, пожалуйста.
3. Это старая конфигурация. Она уже была, когда я пришел в компанию и получил в руки то, что получил. В следующей статье, я рассказывал как кластер переделывался под бОльшую оптимизацию ресурсов. Там я разместил все в LXC контейнеры и на каждый железный сервер влезло 2 дата-ноды + 1 мастер. И средствами LXC контейнеры лимитировались по процессорным ядрам — мастерам отдавалось по чуть-чуть, остальное уходило дата-нодам.
Но и это уже старая конфигурация. Потом я перевел кластер на hot/warm архитектуру и там все опять поменялось :)
Не то чтобы «отказались», а просто не начинали. Интересно было самому в деталях реализации разобраться, прежде чем стандартные инструменты использовать. Но к нему все придет, да.
А ещё, учитывая, что лодку надо сдать заправленной — у заправки будет толкотня. Так что вернуться к 16-и часам в пятницу — норма. Ибо в 9 утра субботы яхтенная неделя заканчивается.
Понимаю, что не всем подходит.
По первоначальным ощущениям тяжелее всего было разбирать акцент датчанина (похож на немецкий, но значительно мягче). По опыту — «ухо» тренируется где-то месяца три. Потом никаких проблем не возникает уже ни с какими акцентами.
Кроме, может быть, французского — до сих пор корёжит.
Отвечаю — дата-нодам мы выдаем 32 гб. А сервера под дата-ноды закупаем с 64-128 (что чаще) Гб памяти на борту. У нас объемы такие, что дата-нодам отдаем максимум того, что они могут использовать.
Миграция шард — да, это головная боль. В среднем миграция данных за одни сутки занимает около 8 часов. И хоть гоняется ночью, но к утреннему росту нагрузки уж еле-еле поспевает.
Записал в книжечку.
По. п.2 — посмотрите на numactl. Возможно там собака зарыта.
2. «Какой % памяти на data ноде отдаете под heap? 50%?» — вопроса не понял, уточните, пожалуйста.
3. Это старая конфигурация. Она уже была, когда я пришел в компанию и получил в руки то, что получил. В следующей статье, я рассказывал как кластер переделывался под бОльшую оптимизацию ресурсов. Там я разместил все в LXC контейнеры и на каждый железный сервер влезло 2 дата-ноды + 1 мастер. И средствами LXC контейнеры лимитировались по процессорным ядрам — мастерам отдавалось по чуть-чуть, остальное уходило дата-нодам.
Но и это уже старая конфигурация. Потом я перевел кластер на hot/warm архитектуру и там все опять поменялось :)