Information
- Rating
- Does not participate
- Location
- Симферополь, Республика Крым, Россия
- Date of birth
- Registered
- Activity
Specialization
DevOps-инженер
Ведущий
Python
Git
Linux
PostgreSQL
Docker
Высоконагруженные системы
RabbitMQ
Golang
Kubernetes
Nginx
Соглашусь, однако используют его зачастую именно для оркестрации ETL. Ну насчет нет ничего, не соглашусь. Как же DAG’и которые добавляют ему гибкости.
Из моего будничного - давеча написал api утилитку на go для автоматизации получения сетевых доступов. Но есть много и ops задач, согласен. Все больше сталкиваюсь с тем что разработка умеет писать код, но не понимает как работает определенная бд и архитектурные вопросы в целом. Мой любимый пример очереди в redis. Так что коллеги тут монета ребром как говорится.
Эм это как бы нынче стандарты etl процессов)))
Я так понимаю вы предварительно проверяли скрипты на тестовом окружении? И не думали об откатах? Согласен подход рабочий с некоторыми но. Но почему например не развить подход в сторону liquibase , flydb?
Прочел.Отвечу - вы забываете что инженер владеющий практиками DevOps тоже умеет писать код и даже порою не на одном ЯП, но почему то все упорно толкают их именно в сторону ops.
Хм а вы «старое поколение» до сих пор считаете ftp безопасным протоколом?
И я открою страшную тайну есть виндовые контейнеры и ноды к8s на винде)
Этож какие такие ETL файлы? Apache Nifi и Airflow прекрасно справляются с ETL процессами. И они как раз гибче масштабируются в k8s. А про модно и молодежно, похоже на старую шутку «вы просто не умеете их готовить»
А позвольте поинтересоваться вы эти отлаженные процедуры до сих пор скриптами в базу пишите?
Посмотрите в сторону https://fastlane.tools, очень упростит ваш pipeline.
Напомню коллегам что пока поддерживаться в k8s сборка только через Dockerfile.
Самая проблематика мне кажется во всем это плане ,когда нужно будет заиспользовать https. Вот тут начнется веселье с самоподписными и указанием где то их валидности. И тут действительно использование внешнего кластера лучшее решение.
У metallb есть bgp режим.
https://metallb.universe.tf/concepts/bgp/
Или например про OSI — я помню что там 7 уровней, но на вскидку я их не назову и за что они отвечают.