Интеграция с ClickHouse: 1С vs Apache Airflow. Плюсы и минусы

[VitaminND]

Сейчас мы используем модель ELT: все преобразования над сырыми данными выполняются в ClickHouse. Вместо этого можно реализовать загрузку данных по принципам ETL с помощью NiFi.

Рано или поздно придете к сложным преобразованием, которые Nifi не потянет. И тогда логика трансформаций будет размазана между Clickhouse и Nifi. Поддержка проклянет ;)

[AkaMikhelson]

Привет!
Плюсую предыдущему комментатору.
Аргументы из примера автора:
"Зачем нужен ваш BI, ведь все данные вы берете из 1С, можно же там и отчеты написать " , -
легко отбиваются тем, что 1С-разработка не готовы поддерживать в актуальном состоянии код для отчётности по двум простым причинам:
- им это не надо - платят им за другое
- они не могут знать как правильно считать/преобразовывать цифры, т.к. даже владельцы продуктов редко знают как нужно считать то, что им нужно считать

[sa1m0nn_fast8]

Интеграторы интегрировали интегрировали, да не выигнтегрировали. Даёшь еще один костыльный велосипед! Использовать нативную биай от вендора - 1С:Аналитику - для слабаков!

[comol85]

Просто сделайте дашборд в datalens подключенный к CH и сделайте в 1С Аналитике... Всё поймёте. А Если не поймёте - спросите сколько обошелся датаакселератор (ресурсы + лицензии)

[sa1m0nn_fast8]

В Аналитике делал не одну сотню раз. Позырил в Даталэнс - вопрос намба ван: "И чо?". Про стоимость лицензий аргумент просто убил. Если б это был главный критерий - весь мир давно бы сидел на линуксах... ЗЫ: на проф-лицензии Дата-акселератор идёт в комплекте при покупке 1С:Аналитики, если чо.

[comol85]

Плюсую статье. В сообществе появились нормальные ребята с классическим инструментарием. Если ещё бы разобрались со структурой хранения и прикрутили dbezium вместо csv-шек которые будут тормозить. Ну и какжется работу с ftp, архивом и csv это можно не pythonoperator

[Zippo]

откуда эта инфо в запросе? 20220104 AS _partcol. Как то параллелько читать партиции и записывать в таблицу пробовали?