Я житель Татарстана ели на хабре не сидел даже не знал бы об этом, мы активно используем я школьник, но не курсе что проект запустили аж в феврале вам бы позаботиться об освещении и информировании, а так задумка очень хорошая хоть как то учит детей зарабатывать пускай хоть мегабайты но все же.
Статья хорошая, но к сожалению не актуальная MapReduce безнадежно устарел, в современных кластерах MapReduce2 который работает по верх yarn, я бы эту задачу решал spark и быстрее и проще...
Был у нас ZyWALL usg 1000 (в количестве 15 штук ), тот день когда мы от него избавились был одним из памятных в моей жизни. Железо капец медленное, даже без шифрования 100ку не выдавал максимум 70 мегабит, джитинг на sip был неимоверный. OSPF рассыпался без того видимых причин.
А толку нету эта адская железка загибалась постоянно в мониторинге при любой непонятной ситуации на Zywall проц в полку и как говориться SLA в топку, крайне не рекомендую данное железо лет 10 жизни оно у меня отняло пока на CCR не перешли…
и вы пойдете в k8s + spark operator + airflow)
и еще про зукипер, в новых версиях Кафки его выпилят(https://strimzi.io/blog/2024/03/21/kraft-migration/#:~:text=Conclusion,to using KRaft-based clusters.).
Автору статьи спасибо очень хорошая статья скинул коллегам датаинженерам)
нет одного важного момента про directpv
Я житель Татарстана ели на хабре не сидел даже не знал бы об этом, мы активно используем я школьник, но не курсе что проект запустили аж в феврале вам бы позаботиться об освещении и информировании, а так задумка очень хорошая хоть как то учит детей зарабатывать пускай хоть мегабайты но все же.
Статья хорошая, но к сожалению не актуальная MapReduce безнадежно устарел, в современных кластерах MapReduce2 который работает по верх yarn, я бы эту задачу решал spark и быстрее и проще...
Хорошая статья.
А почему не посмотрели в сторону Apache Ranger ?
просто оставлю тут rclone
А почему Ignite , а не debezium например?
MapReduce вы серьезно ? может YARN был бы лучше)?
Спасибо за статью)
Informatica PowerCenter уже устарела и не поддерживается, сейчас Informatica Big Data Management больше актуальнее