В основном yc-network-hdd, часть кластеров на yc-network-ssd. Координатор миграции смотрит тип диска и объём данных, плюс профиль нагрузки по внутренним метрикам клика: что за запросы, кто пишет, кто читает. IOPS не меряет. По итогам предлагает поменять тип диска, HDD на SSD, если разница в деньгах заметная. Но решалала команда-владелец.
Посмотрел мониторинг за месяц: пики 3 400 IOPS на диск, 3 700 на ноду, полоса до 448 МБ/с.
Lakehouse нет, по сырым данным клик не ходит. S3 у нас его собственный холодный tier: политика hot_cold, парты по TTL уезжают с диска в Object Storage в родном MergeTree, читает их тот же движок. Сырого parquet или iceberg, под который и заводят Trino, нет. Самый большой кластер, используется под трейсы, около 14 ТБ.
Не отвечу. Задача была чисто инфраструктурная, перевезти кластеры между k8s без простоя. Как базы крутят аналитики и как разведены пользователи, BI и сервисы, не знаю.
Спасибо за вопросы, отвечу по порядку.
В основном yc-network-hdd, часть кластеров на yc-network-ssd. Координатор миграции смотрит тип диска и объём данных, плюс профиль нагрузки по внутренним метрикам клика: что за запросы, кто пишет, кто читает. IOPS не меряет. По итогам предлагает поменять тип диска, HDD на SSD, если разница в деньгах заметная. Но решалала команда-владелец.
Посмотрел мониторинг за месяц: пики 3 400 IOPS на диск, 3 700 на ноду, полоса до 448 МБ/с.
Lakehouse нет, по сырым данным клик не ходит. S3 у нас его собственный холодный tier: политика hot_cold, парты по TTL уезжают с диска в Object Storage в родном MergeTree, читает их тот же движок. Сырого parquet или iceberg, под который и заводят Trino, нет. Самый большой кластер, используется под трейсы, около 14 ТБ.
Не отвечу. Задача была чисто инфраструктурная, перевезти кластеры между k8s без простоя. Как базы крутят аналитики и как разведены пользователи, BI и сервисы, не знаю.
Благодарен за обратную связь.