Logbroker: сбор и поставка больших объемов данных в Яндексе

Как раз суть данного решения заключалась в минимизации написания собственных велосипедов. В ядре системы лежит уже готовый opensource проект (Apache Kafka), вокруг него мы построили свою обвязку и инфраструктуру, которая удовлетворяет нашим требованиям. От начала разработки до запуска в продакшен прошло 4 месяца. Внедрение было бесшовным, источники и не заметили, что стали лить данные в новую систему. В итоге мы получили кучу плюшек, описанных в статье.