Да, согласен, Polars можно было использовать лучше. Я пытался задействовать LazyFrame, но почему-то существенного результата на тот момент я не смог быстро получить, так же сталкивался с нехваткой памяти. Поэтому решил оставить такой вариант, посчитав что я как-то не так использую ленивые вычисления.
Лично я пробовал встраивать только в даги airflow, работало как часы)
Да, согласен, Polars можно было использовать лучше. Я пытался задействовать LazyFrame, но почему-то существенного результата на тот момент я не смог быстро получить, так же сталкивался с нехваткой памяти. Поэтому решил оставить такой вариант, посчитав что я как-то не так использую ленивые вычисления.