обычно решает, но на самом деле, я столкнулся недавно с более интересной проблемой, нежели доносит автор, а именно, нельзя глобально обновить pip на cent os и если это сделать, то команда pip ломается…
Сравнение с mitogen скоростью будет?
И хотелось бы конечно сравнить на более нормально написанных тасках/ролях/плейбуках, ибо сейчас там оверхейд по всяким лишним сравнениям и преобразованиям…
Поясните, пожалуйста, про ваш пайплайн от начала до спарк-сабмита: на сколько я уловил из статьи, у вас стартует главный баш (крон?), который дергает даг и сидит ждет N времени, при этом каждые 10 минут опрашивает ваш API над airflow на предмет статуса дага, я верно понял?
Давно ждал вертику, жаль только, что на текущие коннекты хоть иконку и поменяли (похоже парсинг по jdbc строке), но вот поменять драйвер на новый нет возможности, т.к. использовался кастомный postgres
А вы не думали, что у вас весь процесс не верный?
Что аналитик должны не ad-hoc заниматься, а заниматься требованиями, а DWH в совокупе с BI должны выдать просто инструмент для бизнеса?
При https есть проблема, раньше апи бота работало без валидации сертификата, а сейчас вроде как нет, поэтому вариант проксирования через nginx у вас просто не будет работать…
Ну не стоит сравнивать CH с Vertica… В КХ вы скорее всего только логи будете лить и проектировать таблицы со справочниками в виде звезды, а после привыкать к движкам и костыльному языку запросов…
И хотелось бы конечно сравнить на более нормально написанных тасках/ролях/плейбуках, ибо сейчас там оверхейд по всяким лишним сравнениям и преобразованиям…
docker build --squashПокажите "сову", которая 6 лет подряд приходит до 10 утра, пожалуйста
Что аналитик должны не ad-hoc заниматься, а заниматься требованиями, а DWH в совокупе с BI должны выдать просто инструмент для бизнеса?
Я вас не понимаю