Миграция Big Data на практике: как мы готовили напильники

[pihel]

Oracle BDA позволяет получить доступ к данных hadoop в Oracle или сделать 1 партицию в таблице на данных Hadoop, а другие на данных Oracle. Как это было решено при условии kerberos в кластере hadoop?

[AlexeyMarin]

Никак, мы не пользовались этим механизмом. Arendata DB нормально ходит к нам за холодными партициями через kerberos - у них лежит keytab от своей сервисной учётки.

[WaitEvent]

а что вы кладете на hdfs, обычные паркеты ? там импала случайно не научилась читать delta или iceberg ?

[AlexeyMarin]

Обычные паркеты и дельту. Смотрели оба движка, но на момент тестирования айсберг был заметно медленнее. Импала научилась читать только айсберг, но пока мы её не внедрили, нет особого желания перекодировать таблицы.

Есть желание дожить до трёхпятого спарка, который Аренадата обещает осенью, потому что в дельте 3 есть и deletion vectors (merge on read), и liquid clustering (замена dynamic partitioning). Тогда у айсберга останутся лишь теги из фич, которых нет в дельталейке.

[WaitEvent]

да, но как эту дельту клиенты читать будут, Kyuubi как я понял с LDAP не дружит.

[AlexeyMarin]

Spark читает и пишет, Hive читает после определённых приседаний, Trino читает. С Kyuubi пока разбираемся, как именно он керберизован.

[EvgenyVilkov]

Все это уже давно есть в айсберге и поддерживается импалой. Перекодировать при переходе на айсберг ничего не нужно. 3.5 Спарк сливает 4.3 импале как и все предыдущие версии спарка предыдущим версиям импалы.

[EvgenyVilkov]

Давно научилась iceberg V2 , но это не про adh

[EvgenyVilkov]

"Что остаётся сказать напоследок? Даже если привычное проверенное зарубежное решение вам больше недоступно, можно — и вполне реально! — найти адекватную отечественную замену.  "

Вот тут справедливости ради прокомментирую.

Вам сразу на старте предложили давно работающую адекватную замену, специально разработанную именно для этих задач, но вопрос "а чем мы то хуже сейчас сами все быстро напилим надо только собрать команду" сыграло с вами вот такую вот шутку в тысячи человеко дней и потраченные месяцы и годы.

[edu_RDTEX]

Уже сегодня Oracle support meetup! Подключайтесь! Через 15 минут начинаем!

https://t.me/oraclemasters

[kyzima]

Все это красиво на словах и картинках, но когда рядовой пользователь начинает использовать все это добро то мы приходим как всегда к одному известному результату

1. Миграции миграциями, а коллеги так и не смогли в качество данных

2. Все ваши новомодные ямл движки понижают уровень ваших же платформенных разрабов, которые не умеют делать нормальные даги

3. Инструмент отгнил на проде, мониторинг молчит, сопроводы молчат, ну и какая разница, прод же

4. При разработке забыли добавить важный функционал в hadoopsync, которая бы упростила жизнь всем командам? а кто будет платить за доработки? А, ну раз ваша команда инициатор, пусть она и платит, и пофиг что коммунальные вещи дорабатываем для всех) И так касается не только одного инструмента но и всего платформенного