Comments 7
Да почему опять питон то на заставке?
И вот все вроде хорошо. Да только в реальной жизни Kafka, Spark и Hadoop живет где-то там, в королевстве кривых платформ корпоративного разлива, администрируются выделенной командой, и настроены согласно их, этой команды, представлениям о прекрасном.
И при попытке использовать эти сервисы, проблема не в том, как контейнеры локально поднять, или пакеты в виртуальное окружение питона установить, а, скорее, в том, чтобы затолкать в свой нормально выглядящий скрипт обработки поддержку stage-развертывания, Kerberos аутентификации, и автосинхронизацию схем топиков, ибо дата продюсеры имеют обыкновение, без объявления, ломать формат сообщений.
И после фарширования скрипта обработки всем этим хозяйством, еще и неплохо уметь его локально запускать для тестов. И воспроизвести локально тот же Kerberos уже не так просто....
Тут согласен, но статья нацелена и находится в топике для новичков, чтобы они могли вообще хоть как то погрузиться и что-либо пописать, а когда ты условный junior то развертывание сред и преднастройка, как правило занимает времени +- столько же , сколько отводится времени на практику, когда учишь направление сам , то DevOps как правило дома нет. В целом мой основной язык Java и там как раз все работает почти из коробки с минимальными изменениями относительно гугления и кода из сети, а вот для python к сожалению пришлось немного поплясать с бубном, для этого статья и была создана, чтобы последующим людям, кто только начинает этот путь с данного языка - упростить жизнь, про продакшн, стенды и окружения тут не идет речи, также и про кафку в целом, тут ни консьюмер групп, ни доп конфигов для отказоустойчивости не было, чтобы не перегружать локальную машину, там 1x1 конфиг для кафка кластера, все максимально упрощено : )
Python streaming (spark+kafka)