Комментарии 8
Сейчас мы используем модель ELT: все преобразования над сырыми данными выполняются в ClickHouse. Вместо этого можно реализовать загрузку данных по принципам ETL с помощью NiFi.
Рано или поздно придете к сложным преобразованием, которые Nifi не потянет. И тогда логика трансформаций будет размазана между Clickhouse и Nifi. Поддержка проклянет ;)
Привет!
Плюсую предыдущему комментатору.
Аргументы из примера автора:
"Зачем нужен ваш BI, ведь все данные вы берете из 1С, можно же там и отчеты написать " , -
легко отбиваются тем, что 1С-разработка не готовы поддерживать в актуальном состоянии код для отчётности по двум простым причинам:
- им это не надо - платят им за другое
- они не могут знать как правильно считать/преобразовывать цифры, т.к. даже владельцы продуктов редко знают как нужно считать то, что им нужно считать
и вы пойдете в k8s + spark operator + airflow)
Интеграторы интегрировали интегрировали, да не выигнтегрировали. Даёшь еще один костыльный велосипед! Использовать нативную биай от вендора - 1С:Аналитику - для слабаков!
Плюсую статье. В сообществе появились нормальные ребята с классическим инструментарием. Если ещё бы разобрались со структурой хранения и прикрутили dbezium вместо csv-шек которые будут тормозить. Ну и какжется работу с ftp, архивом и csv это можно не pythonoperator
откуда эта инфо в запросе? 20220104 AS _partcol. Как то параллелько читать партиции и записывать в таблицу пробовали?
Интеграция с ClickHouse: 1С vs Apache Airflow. Плюсы и минусы