В статье речь идет не о процессорах (CPU), а о ядрах процессора (CPU core), но у нас в облаке мы торгуем только ядрами, а не процессорами в обычном смысле и называем их vCPU.
Для базы сейчас используется сервер: 12 ядер vCPU соответствует 6 ядрам железного CPU с гипертредингом, в целом это соизмеримо с обычным ноутбуком. Количество памяти соответствует количество vCPU, для "сбалансированной" конфигурации и выглядит адекватным решаемой задачи. Агрегации в Clickhouse потребляют память и при её недостатке падают.
Мы подбирали конфигурацию в расчете на конкурентную нагрузку в несколько пользователей одновременно, ожидая что в момент выхода статьи читатели начнут массово открывать дашборд. Кроме того, каждое открытие дашборда выполняет одновременно 9 запросов, соответственно ВМ с 12 виртуальными ядрами будет неплохо утилизироваться даже при работе одного пользователя.
Сервера равноправны, таблица реплицирована на них, дашборд при запросе из БД подключается к одному серверу. Дублирование сервера сделано для отказоустойчивости кластера.
Спасибо! У нас пока нет on-premis версии для DataLens, в этом плане использовать его так не получиться. Если говорить чисто про CH, то тут ограничений нет и такой же кластер можно поднять на железе и будет работать не хуже.
Ой, теперь я себя чувствую неловко и зазнайкой (эмоджи обезьянки с руками на глазах =), извините.
Спасибо за статью, хорошее объединение методик! Мне кажется как раз тоже кажется, что они тоже должны вместе работать. Расскажу у себя про статью в подборке!
Можно было бы упомянуть авторов фреймворков конечно ;-) Лену Серегину про пирамиду метрик и меня про Dashboard Map. Про Dashboard Map вот тут подробно ещё рассказываю с примерами — https://www.youtube.com/live/0avtGHQ5M5Y?feature=share&t=1679
Нет, Plotly не было )
А как боритесь с тем, что люди создают метрики в обход «источника правды»? Есть какие-то инструменты?
Отличная статья, круто, что так системно этим занимаетесь!
Эх, пора статью с шаблонами переделывать, уже устарёл малёк. Про типы дашбордов лучше посмотреть, например, вот этот доклад — https://www.youtube.com/watch?v=27oeByUtADQ
Спасибо! Тут попросил Игоря помочь мне с ответом:
В статье речь идет не о процессорах (CPU), а о ядрах процессора (CPU core), но у нас в облаке мы торгуем только ядрами, а не процессорами в обычном смысле и называем их vCPU.
Для базы сейчас используется сервер: 12 ядер vCPU соответствует 6 ядрам железного CPU с гипертредингом, в целом это соизмеримо с обычным ноутбуком. Количество памяти соответствует количество vCPU, для "сбалансированной" конфигурации и выглядит адекватным решаемой задачи. Агрегации в Clickhouse потребляют память и при её недостатке падают.
Мы подбирали конфигурацию в расчете на конкурентную нагрузку в несколько пользователей одновременно, ожидая что в момент выхода статьи читатели начнут массово открывать дашборд. Кроме того, каждое открытие дашборда выполняет одновременно 9 запросов, соответственно ВМ с 12 виртуальными ядрами будет неплохо утилизироваться даже при работе одного пользователя.
Сервера равноправны, таблица реплицирована на них, дашборд при запросе из БД подключается к одному серверу. Дублирование сервера сделано для отказоустойчивости кластера.
Вот эта база — https://clickhouse.com/docs/en/getting-started/example-datasets/amazon-reviews
Спасибо! У нас пока нет on-premis версии для DataLens, в этом плане использовать его так не получиться. Если говорить чисто про CH, то тут ограничений нет и такой же кластер можно поднять на железе и будет работать не хуже.
Кстати, узнать больше об интеграции ClickHouse с DataLens на примере витрины данных для веб-аналитики можно на нашем бесплатном курсе — https://cloud.yandex.ru/training/datamart, а о работе с самим DataLens на курсе — https://cloud.yandex.ru/training/datalens
Ой, теперь я себя чувствую неловко и зазнайкой (эмоджи обезьянки с руками на глазах =), извините.
Спасибо за статью, хорошее объединение методик! Мне кажется как раз тоже кажется, что они тоже должны вместе работать. Расскажу у себя про статью в подборке!
Можно было бы упомянуть авторов фреймворков конечно ;-)
Лену Серегину про пирамиду метрик и меня про Dashboard Map. Про Dashboard Map вот тут подробно ещё рассказываю с примерами — https://www.youtube.com/live/0avtGHQ5M5Y?feature=share&t=1679