Зачастую в проектах бывает нетривиальная логика, которую только через функции можно реализовать.
в проекте миграции с Oracle получилось, что 50% всех процедурных расчетов в Oracle была заменена на логику на view. конечно, много процедур пришлось оборачивать в кастомные функции, но все же не весь объем проекта, что уже радует :)
Как управляете количеством параллельных потоков загрузки из источников, чтобы pxf не сыпался по ресурсам?
При создании внешних таблиц pxf используются pxf-партиции, причем подбираются партиции в зависимости от числа нод кластера - по одному потоку на ноду. также регулируется число параллельных процессов загрузки на уровне дага с помощью настройки в airflow. ну и никто не отменял мониторинг машин, на которых pxf работает
в проекте миграции с Oracle получилось, что 50% всех процедурных расчетов в Oracle была заменена на логику на view. конечно, много процедур пришлось оборачивать в кастомные функции, но все же не весь объем проекта, что уже радует :)
При создании внешних таблиц pxf используются pxf-партиции, причем подбираются партиции в зависимости от числа нод кластера - по одному потоку на ноду. также регулируется число параллельных процессов загрузки на уровне дага с помощью настройки в airflow. ну и никто не отменял мониторинг машин, на которых pxf работает
даги будут обязательно добавлены, как и инструментарий автоматической установки вместе с демонстрационным примером
пока 6 (6.25.1), но с выходом GP7 фреймворк будет переделываться с учетом изменений в базе, в частности операций с партициями