Спасибо, попробую. У меня вроде проблем нет, но хотел pipeline научиться выстраивать. Пишу IDE для ETL, разбиваю задачи на маленькие кусочки и вполне получается.
А механизм песочниц никто не использует? Дали задачу, сделал себе новую песочницу и делай там что хочешь. В конце, если взлетело, переносишь в систему разработки.
ну, это общие скрины. А тот интерфейс, которым сами пользуетесь?
И второй вопрос - как тестируете алгоритмы ETL - создаете какие то отдельные данные, подаете на вход ETL и прогоняете по алгоритмам, а затем сравниваете результат?
А с точки зрения разработчика - сроки можно более-менее точно определить, если есть подробное ТЗ, которое не меняется вообще никак. И то будет плюс-минус. Значит, надо называть в плюс.
А разработать такое ТЗ - очень часто будет по времени больше, чем разработать решение. Но никто не хочет разрабатывать подробное ТЗ, а хотят соблюдение сроков и без запаса по времени.
Я пока не видел действенных способов называть точные сроки, ведь разработчик всегда выполняет уникальные задачи.
"Окончивший учебное заведение будет знать как минимум что-то сопутствующее. Но не факт, что там его учили именно тому, что нужно работодателю." - мы сжигаем время жизни на сопутствующее, которое может и не пригодиться никогда.
А если это сопутствующее пригодится - то почему бы его в этот момент и не изучить?
Офигеть! В закладки, буду использовать. Звезду на гитхабе поставил.
Вчера написал SQL на 2,5 тыс строк.
Насколько проще и быстрее было бы это сделать на SAP Hana CalcView, где выборки и обработки графически делаются...
" после некоторого уровня сложности " - как часто встречается такой уровень сложности, что визуальная low-code среда начинает путать?
Было бы здорово, наверное, предусмотреть разные варианты:
90% - визуальное построение, так как пайплайн простой
10% - язык для сложных случаев
Ого! Спасибо, очень интересно! Работаю с кликом, но так, больше интуитивно - подтяну матчасть.
Спасибо, попробую. У меня вроде проблем нет, но хотел pipeline научиться выстраивать. Пишу IDE для ETL, разбиваю задачи на маленькие кусочки и вполне получается.
Чувствую, что что-то интересно, но непонятное.
Автор, с чего начать погружение, чтобы можно было понять, как использовать проект, который Вы выложили в гит?
Сам программист, дальше Windsurf не ходил.
Пока делаю обычный цикл - промпт, тест, и дальше опять промпт...
У Вас сеть на своем компьютере крутится? Если да - то что используете? Интересует железо и какая именно сеть.
А механизм песочниц никто не использует? Дали задачу, сделал себе новую песочницу и делай там что хочешь. В конце, если взлетело, переносишь в систему разработки.
Ну а если мы в контуре разработки это сделали и в продуктив пока не перенесли? В разработке же нет продуктивных данных. Есть варианты?
Как бы нам при разработке DWH сделать Ctrl+Z?
Есть варианты, когда удалил столбец с данными, а потом спохватился и нажал Ctrl+Z?
ну, это общие скрины. А тот интерфейс, которым сами пользуетесь?
И второй вопрос - как тестируете алгоритмы ETL - создаете какие то отдельные данные, подаете на вход ETL и прогоняете по алгоритмам, а затем сравниваете результат?
а описать со скринами простейший процесс ETL?
скажите им,что время на освоение самого Airflow - примерно 1 день.
ахаха, цитата: "Лично мне нравятся трудности"
Сразу виден подход с точки зрения менеджера.
А с точки зрения разработчика - сроки можно более-менее точно определить, если есть подробное ТЗ, которое не меняется вообще никак. И то будет плюс-минус. Значит, надо называть в плюс.
А разработать такое ТЗ - очень часто будет по времени больше, чем разработать решение. Но никто не хочет разрабатывать подробное ТЗ, а хотят соблюдение сроков и без запаса по времени.
Я пока не видел действенных способов называть точные сроки, ведь разработчик всегда выполняет уникальные задачи.
А чем пользуетесь для автоматизации ведения модели данных Data Vault? Врукопашную тяжело вести таблички...
Слежу за вашей эпопеей, видео и статьи очень интересные. Есть чему поучиться.
Спасибо, что делитесь знаниями!
Какая хитрая реклама YouGile
А сравнивать заработок человека с его имуществом алгоритмы так и не научились, хотя для этого достаточно и джуна для написания SQL-запроса.
"Главное в этом деле не выйти на самих себя" (С)
Супер! В Закладки однозначно!
"Окончивший учебное заведение будет знать как минимум что-то сопутствующее. Но не факт, что там его учили именно тому, что нужно работодателю." - мы сжигаем время жизни на сопутствующее, которое может и не пригодиться никогда.
А если это сопутствующее пригодится - то почему бы его в этот момент и не изучить?