Comments 9
Из статьи не понял: Charts выкинули окончательно или просто добавили Superset параллельно?
Charts — in‑house инструмент с основным методом визуализации Line Chart, поддержкой MS SQL, Clickhouse и Apache Druid
Данные берутся все также из Hadoop, но расчет агрегированных данных идет на мощностях DWH и помещается в Clickhouse
Не понятно - Superset за данными куда ходит? В ClickHouse? И что за DWH? Общая схема backend не помешала бы, конечно.
Статья на интересную тему, но, как по мне, такое решение больше подходит для небольших компаний и дата-команд. Зачем вам в ВК мониторить и алёртить через SS, когда есть отдельные спец инструменты для этого, которые могут делать это на основе мониторинга непосредственно БД? Если только цель в том, чтобы собрать всё в одном месте.
А так, я делал временный мониторинг в SS, как продуктовых, так и инфраструктурных метрик, и метаданных. С алёртингом в корп мессенджеры, на корп. почту - бизнес такое любит.
Для Fine BI, наш объем данных был чрезмерным. В итоге от инструмента пришлось отказаться.
Расскройте пожалуйста этот пункт. Вы наверное, хотели сказать, что отказались потому что он платный?
Мы сейчас переходим от суперсета к файну, во многом как раз из-за плохой нагрузоспособности суперсета. У него нет внутренней бд, его ядро не оптимально расходует коннекты к бд и визуализация у него в разы хуже.
У него через китайские сервера работает только мобильная версия. Основная версия разворачивается на серверах заказчика, у него есть также и кластерная версия. Но для числа пользователей до 5000, достаточно одной ноды.
Одно из ваших требований: выбор open‑source‑реализации, которая исключает зависимость от вендора и позволяет начать работу без больших инвестиций;
И тогда вызывает вопросы подбор "соперников" для Superset. Почему не посмотрели DataLens, Metabase или Redash? Grafana - ок, правда другого класса продукт, но под ваши задачи подходил, зато сравнивали с FineBI и Tableau - это не open‑source, более того, одни из самых дорогих решений на рынке.
Обсуждения по поводу файна были около года назад, а табло — еще раньше (когда еще была такая возможность), пункт про опенсорсность как раз следствие этих попыток, а не изначальное желание. Redash, на мой взгляд, не такой юзер-френдли для не-аналитикеов, хотя тут на вкус и цвет. Datalens и Metabase действительно рассматривались, но решили уйти в суперсет, тк среди прочего это единое направление для других команд в VK, что сыграло важную роль в выборе
Мониторинг основных продуктовых метрик в Superset