Комментарии 6
Ну да, ну да, шашечки вы отлично наловчились рисовать, а вот в интерфейсе интернет банка не допросишься платежного поручения, нужно за бумажкой ехать в банк.
И ещё для некоторых карт почему нет вообще истории операций, это как?
Анна, вы вообще не алло. Репликацию данных не пишут на спарке, вы кластером идете читать с дисков БД, это не правильно, если инкремент будет аховый вы будете не ночью, а уже днём нагибаться диски БД АСок - это первое, тут даже не про спарк, а вообще о подходе. Второе - спарк не для репликации , тем более тех БД которые вы перечислили , м б Кассандра , и то такое себе. Третье - у вас был BDA там экстернал тэйблы, зачем вообще реплика вам из оракла, там хдфс и оракла БД как один инстанс. Вы смигрировали в арену, или ещё в BDA? И последнее и самое важное, вам нужно писать свой аналог golden gate, с чтением налёту из лога БД, а не с дисков. Вот напишите, тогда крутые, а так велосипед немасштабируевым и идиоматически кривой, озеро никуда само за данными не ходит. Пишите в ЛС, проконсультирую
Добрый день! Спасибо за замечание.
Согласимся, что напрямую забирать данные — не самый оптимальный вариант, но большинство систем источников для нас являются коробочные решения и их доработка либо невозможна, либо ресурсоемкая.
Поэтому мы также разработали собственный механизм CDC, отбрасывающий изменения в кафку.
Кажется, что кусок статьи пропал (после проблемы мелких файлов какой-то резкий переход к проблеме одновременной записи (?))
Конфигурация пишется вручную полностью с нуля или есть какой-то wizard, с помощью которого можно получить конфиг, который потом при необходимости отредактировать вручную? Есть ли Web UI? Конфиг хранится с Git-е или тоже в PostgreSQL?
Клево что в финтехе крутые технологии крутят - молодцы
Озеро данных ВТБ: как мы провели реинжиниринг процессов и перешли на унифицированный движок