Надеюсь вы больше не будете писать и рассказывать про "недостатки HDFS и S3" где давно уже можно менять и данные и схему и ACID и права доступа с квотами
Ребята, ваши представления о минусах HDFS и S3 весьма пещерного века.
В то время пока вы в своих головах вы все еще сравниваетесь с хадупами восьмилетней давности и изобретаете аотетнативные велосипеды, клиенты вашего же яндекс облака поверх вашего с3 внедряют высокоропиозвиодетльные lakehouse решения с real-time интеграцией, транзакционной изоляцией и быстрым sql поверх с3 в кубернетесе.
На то что будет эффективнее с тз стоимость на производительность. Терадата и Гринплам в этом далеко не чемпионы просто потому что архитектурно построенны на технологиях а) не способных эффективно решать задачи на реально больших данных в конкурентной нагрузке б) потому что имеют врожденные архитектурные травмы которые не способствуют пункту а)
Чем он технологически лучше Терадаты? Да ничем. Возможность установить на commodity железе не дает ему фору, с учетом стоимости и сайзинга этого железа.
-ни от кого ПИвотал\ВМварь\Пивотал почти не принимали изменения. реально не болтше 1% (на 2021 год)
-после 02.2022 от российских коммитеров вообще ничего не принималось. Аренадата все свои правки применяла к мастер от пивотал в каждом своем релизе (они про это на последнем Аренадатадей в открытую сообщили)
-Китацы перешли на свои форки и локализации
Внимание вопрос: о каком развитии опенсорс ванили ГП может быть идти речь?
За любой материал и советы по индексированию в бд без упоминания понятия селективности и объяснения стоимости содержания индекса нужно отправлять прямиком в персональный ад где заставлять искать неиспользуемые и неэффективные индексы
"Что остаётся сказать напоследок? Даже если привычное проверенное зарубежное решение вам больше недоступно, можно — и вполне реально! — найти адекватную отечественную замену. "
Вот тут справедливости ради прокомментирую.
Вам сразу на старте предложили давно работающую адекватную замену, специально разработанную именно для этих задач, но вопрос "а чем мы то хуже сейчас сами все быстро напилим надо только собрать команду" сыграло с вами вот такую вот шутку в тысячи человеко дней и потраченные месяцы и годы.
Все это уже давно есть в айсберге и поддерживается импалой. Перекодировать при переходе на айсберг ничего не нужно. 3.5 Спарк сливает 4.3 импале как и все предыдущие версии спарка предыдущим версиям импалы.
https://www.youtube.com/watch?v=1xKcxvgJq9g
ничего кроме BRIN не оживит этот труп. Спойлер - BRIN особо не оживил.
Надеюсь вы больше не будете писать и рассказывать про "недостатки HDFS и S3" где давно уже можно менять и данные и схему и ACID и права доступа с квотами
Бенчмарков нет, но выигрывает. Ок :)
А с чего вы взяли что все преимущества которые вы описываете в YT доступны только в YT и нигде больше?
Ребята, ваши представления о минусах HDFS и S3 весьма пещерного века.
В то время пока вы в своих головах вы все еще сравниваетесь с хадупами восьмилетней давности и изобретаете аотетнативные велосипеды, клиенты вашего же яндекс облака поверх вашего с3 внедряют высокоропиозвиодетльные lakehouse решения с real-time интеграцией, транзакционной изоляцией и быстрым sql поверх с3 в кубернетесе.
Хотим сделать публикацию про лейкхаус.
2. Ок, давайте найдем что то и переведем (не самим же писать про то о чем только читали как другие тоже наверняка только читали)
Находим сомнительный материал про неактуальную технологию (датабрикс) для российского рынка и переводим
Заголовок принесет много переходов
Профит
Мой опыт говорит что архитектура lakehouse (сторедж+mpp движок) в разы эффективнее на стоимость чем симметричные legacy MPP
На то что будет эффективнее с тз стоимость на производительность. Терадата и Гринплам в этом далеко не чемпионы просто потому что архитектурно построенны на технологиях а) не способных эффективно решать задачи на реально больших данных в конкурентной нагрузке б) потому что имеют врожденные архитектурные травмы которые не способствуют пункту а)
Чем он технологически лучше Терадаты? Да ничем. Возможность установить на commodity железе не дает ему фору, с учетом стоимости и сайзинга этого железа.
Шило на мыло. С одного трупа на другой
Реальность такова,
-везде кроме пост-СССР GP почти умер
-ни от кого ПИвотал\ВМварь\Пивотал почти не принимали изменения. реально не болтше 1% (на 2021 год)
-после 02.2022 от российских коммитеров вообще ничего не принималось. Аренадата все свои правки применяла к мастер от пивотал в каждом своем релизе (они про это на последнем Аренадатадей в открытую сообщили)
-Китацы перешли на свои форки и локализации
Внимание вопрос: о каком развитии опенсорс ванили ГП может быть идти речь?
дай обниму :)
+1
В чем именно ее ненормальность?
Внезапно кто-то оказался прав на на GreenPlum закрыли исходники :)
За любой материал и советы по индексированию в бд без упоминания понятия селективности и объяснения стоимости содержания индекса нужно отправлять прямиком в персональный ад где заставлять искать неиспользуемые и неэффективные индексы
"Что остаётся сказать напоследок? Даже если привычное проверенное зарубежное решение вам больше недоступно, можно — и вполне реально! — найти адекватную отечественную замену. "
Вот тут справедливости ради прокомментирую.
Вам сразу на старте предложили давно работающую адекватную замену, специально разработанную именно для этих задач, но вопрос "а чем мы то хуже сейчас сами все быстро напилим надо только собрать команду" сыграло с вами вот такую вот шутку в тысячи человеко дней и потраченные месяцы и годы.
Все это уже давно есть в айсберге и поддерживается импалой. Перекодировать при переходе на айсберг ничего не нужно. 3.5 Спарк сливает 4.3 импале как и все предыдущие версии спарка предыдущим версиям импалы.
Давно научилась iceberg V2 , но это не про adh
Вообще то я GreenPlum имел ввиду