FineBI-g brother is still watching: как мы усовершенствовали мониторинг

[unhingedlunatic]

Всего опубликовано около 400 дашбордов, а неопубликованных пользовательских ad-hoc дашбордов насчитывается несколько тысяч. Доступ к платформе есть более чем у 2,5 тыс человек, а MAU стремится к 2000 пользователей.

Подскажите, каковы объемы ваших датасетов? Или объемы самых крупных датасетов?

У Вас FineBI вытягивает такое кол-во дашбордов в Direct или Spider подключении? Если в Direct, то какую БД используете?

[alexandrsnytko]

Добрый день! Как вы верно заметили в уточняющем вопросе, объемы датасетов весьма разные и уровень агрегации также бывает разный, разработчик может вынести большую часть рассчетных показателей на уровень бд и затягивать в FINE BI уже максимально рассчитанные и агрегированные, данные сократив количество рассчетов на лету и сами объемы.

Соотношение SPIDER\DIRECT 90 к 10 в пользу Spider

Для Direct используем Clickhouse

Пример Spider по объему занимаемого места. Название и путь таблиц вынужден закрасить

Табличка на 84 гига в топе на 441,366,877

[unhingedlunatic]

@alexandrsnytko , а при работе с CH не возникало такой ошибки?

В CH создана табличка. В FineBI создается spider датасет из этой таблички простым SELECT * FROM table;

Далее, ночью, в то время, когда у нас обновляются все датасеты (все датасеты тянутся запросами в режиме spider из БД postgres и только один этот из CH), при обновлении этого датасета из CH через 8 минут возникает ошибка:
В логах FineBI:
Table Load Error - The data cannot be obtained correctly. Please check whether the configuration of the data set or the database configuration is normal.(The database returned an exception:java.io.StreamCorruptedException: Reached end of input stream after reading 49279 of 50684 bytes)
В логах ClickHouse:
Code: 24. DB::Exception: Cannot write to ostream at offset 1886388224: While executing ParallelFormattingOutputFormat. (CANNOT_WRITE_TO_OSTREAM) (version 23.9.1.1854 (official build))

При этом, если запустить обновление этого датасета в другое время, когда параллельно не грузятся другие датасеты, то все отрабатывает нормально.