Автоматизируй это

Статья интересная, но однобокая несколько — форму создать это не хмл править — её учитывать надо, регистрировать, данные с неё куда-то идут, по ним отчёт надо выдать; потом каждая форма это, обычно, начало процесса… да и саму форму разрабатывает не один человек от «нечего делать» а группа какая-то. 1000 заказчиков — это уже кошмар. 10.000 форм — если в них есть смысл, то это очень очень много. И тогда 100-200 технарей это нормально. только к ним ещё надо менеджеров 300+ добавить…

«Разрывая ETL барьеры с помощью Spark Streaming» от Concur. Отчет о встрече

Спасибо за развернутый коммент!
1 — Да, наверное это правильно, чтобы продюсер был до OLTP, но это или UI переписывать или (если есть) App Layer.
Все-таки читать логи как-то проще звучит. И продать легче.
2 — Докладчик говорил что некоторые ETL-и длятся часами, я не очень понял на каком участке происходил затык, но может архитектура со Spark Streaming поможет убрать (сгладить) пиковые нагрузки. Т.е. эти часы распределятся на весь день. Тогда конечно что-то другое просядет…
3 — возможно двусторонняя связь Kafka — HDFS, вернее Spark — HDFS, означает что данные приходят из обоих источников, а результаты идут в HDFS.
4 — Tachyon — похоже что это просто кэш.

Было бы интересно послушать доклад о Вашей архитектуре. Не для применения, а развития для :)

«Разрывая ETL барьеры с помощью Spark Streaming» от Concur. Отчет о встрече

Цифр пока не было. Докладчики честно признались, что все пока работает на одном компе, собственно с него и демонстрировали три shell-a где что-то как бы происходило. Обещали в августе показать больше и, может, цифры какие-то дать.