Comments 5
имея в руках такой инструмент, как SSIS, к чему все и сводится в конце - зачем все остальное (в этом случае)? все 3 буквы выполнить можно без проблем: и Extract, и Transform, и Load.
мне кажется, вы просто до конца не изучили все возможности SSIS.
а насчет этого:
"set @cmd = 'xp_cmdshell ''del "#{local.folder.Bulk.Insert}\' + @deletefile + '"''';
EXEC (@cmd) "
передайте привет тому, кто отвечает за допуски (у вас DBA есть?). что мешает (снова вспоминаем) сделать эту операцию с помощью SSIS?
Ошибся в интерфейсе.
Ответил в комментарии
Почему выбрали именно NiFi? Какие ещё альтернативы рассматривали?
Кстати, с такой постановкой задачи ("обеспечить загрузку данных по мере их изменения на источнике") был смысл использовать CDC инструменты.
Почему выбрали именно NiFi?
Решение принимал директор по направлению. Меня взяли на работу с задачей развернуть сервисы и сделать потоки.
Преимущества NIFI просты - имеет внутренний сервер для запуска процессов, Open Source, стабильный продукт, горизонтальное масштабирование, позволяет хранить выгружаемые данные в себе, обеспечивает потоковую обработку, есть большое количество процессов, и легко написать свой.
Какие ещё альтернативы рассматривали?
Рассматривался Spark, Airflow (в плане рассказать о том, как мы его внедрили и для чего).
Кстати, с такой постановкой задачи ("обеспечить загрузку данных по мере их изменения на источнике") был смысл использовать CDC инструменты
Бюджет не позволяет использовать GoldenGate. Внедрение Debezium в компании не рассматривалось.
Не могу с вами согласится.
имея в руках такой инструмент, как SSIS, к чему все и сводится в конце - зачем все остальное (в этом случае)? все 3 буквы выполнить можно без проблем: и Extract, и Transform, и Load.
И это так и было. О возникших трудностях загрузки данных от источников с помощью SSIS я указал. И второй немаловажный момент - готовится миграция на GreenPlum, где нет инструмента, подобного SSIS.
SSIS мощный инструмент, однако применять его для выгрузки данных нецелесообразно, ресурсы сервера использовались для пересчета витрин, отчетов, и нагружать его выгрузкой с увеличением объема данных стало невозможно. Он просто не успевал все выгрузить и пересчитать.
передайте привет тому, кто отвечает за допуски (у вас DBA есть?). что мешает (снова вспоминаем) сделать эту операцию с помощью SSIS?
Да, я в курсе, что это не является безопасным решением. Однако оно решало две задачи - убрать именно тот файл, который залился в стейджинг, и оставить остальные файлы в этой папке.
После обкатки стейджингового слоя подобное решение было заменено. Об этом я напишу в следующей части.
Загрузка stage слоя DWH. Часть 1