В отличии от hadoop, рекомендуемый объем одного узла для Ozone больше. 500Тб против 100Тб у hadoop. Отсюда и выйгрыш по количеству стоек. Интегральная производительсть чтения при этом проседает всего на 5%.
Разработчики Ozone заявляют, что озон сохраняет высокие показатели производитедьности чтения, и при узлах объемом до 1Пб. Но мы такой сценарий не тестировали.
Мы у себя разделили не наборы данных, а сами компоненты хранения и вычисления в Hadoop. Хранение перенесли в Apache Ozone, а вычисление в Spark on k8s. Тегирование данных в данной статье не рассматривалось.
В отличии от hadoop, рекомендуемый объем одного узла для Ozone больше. 500Тб против 100Тб у hadoop. Отсюда и выйгрыш по количеству стоек. Интегральная производительсть чтения при этом проседает всего на 5%.
Разработчики Ozone заявляют, что озон сохраняет высокие показатели производитедьности чтения, и при узлах объемом до 1Пб. Но мы такой сценарий не тестировали.
Мы у себя разделили не наборы данных, а сами компоненты хранения и вычисления в Hadoop. Хранение перенесли в Apache Ozone, а вычисление в Spark on k8s. Тегирование данных в данной статье не рассматривалось.
Нет. В статье описан подход к разделению монолитного Hadoop на независимые системы хранения и вычисления.