только append-only, insert overwrite уже нет, acid commit iceberg тоже нет и много чего из iceberg нет)) и инсерт пока только как эсперементальная функция, ждем доработки trino, но бесусловно StarRocks хорош, только пока под дашборды вместо клика)) trino под ad-hoc/etl легко. Вот если бы рассказывали не только о + но и о - и правду и решение проблем, а так все победили кроме заказчика который узнает обо всем потом...
что-то все молчат о индексах StarRocks и сколько времени занимает их создание на 1тб, ваши тесты не валидны, сделайте первые запуски на 10 разных ah-hoc и посмотрим, что будет и есть большие сомнения, что настроили движки правильно для их сравнения. Все сделано в пользу StarRocks для $, по этому автор и боиться показать настройки.
У меня для вас тоже плохие новости - у нас не ванильная импала и dwh на ПТ и проблемы у вас точно такие же. Хабр это не про пресейл, Хабр это про то как вы решили трудную проблему и потратили много времени на исследование и решение. Читать как летают sql-движки абсолютно никому не интересно. Интересно проблемы в проде и как их решили.
Как вы надоели со своим скрамом, эти бесконечные дейли по 2-3 часа, глупые ретро. Поставьте нормально задачу в жире и не мешайте работать. Никому ваш скрам не нужен...
Просто админов переименовали в DevOps, вот они и топят за этот DevOps, так как деньги другие. А суть таже и 90% якобы крутых DevOps это просто хороший админы. Ну ты конечно %username% верь красивым сказкам про методы и способы)), ведь чем сложней DevOps тем больше зп…
знаю, что не в тему — но про облако. ну почему вы не можете сделать нормальный интерфейс для Yandex SpeechKit и приходиться так страдать? просто закидываем файлик с текстом и на выходе получаем аудио файл. ваш апи явно не для 99% пользователей tts и ваша капча она так ужасна, я когда смотрю на нее текут кровавые слезы, она просто ужасна…
Спасибо, все по делу.
Статья хорошая, упомяним только одно - Paimon изначально был известен как Flink Table Store. Не удевительно, что под флинк он работает хорошо))
SELECTCOUNT(DISTINCTa.COLLISION_ID, b.COLLISION_ID)FROMquickstart.crashdata aCROSSJOIN(SELECT*FROMquickstart.crashdataLIMIT190000) b;SELECTCOUNT(DISTINCTa.COLLISION_ID, b.COLLISION_ID)FROMquickstart.crashdata aJOINquickstart.crashdata bONa.BOROUGH = b.BOROUGHORa.BOROUGHISNOTNULL;Вот на таких запросах нужно проводить тесты
Вот такие должны быть статьи на хабре - пот, кровь и трино.
Полностью поддерживаю BackDoorMan - Кажется мы имеем дело с целенаправленным маркетингом
https://docs.starrocks.io/docs/data_source/catalog/iceberg/iceberg_catalog/ раньше был только SELECT и INSERT. Теперь видимо добавили и OVERWRITE, ну я каждые 5 минут за StaкRocks не слежу)) но пока нет UPDATE/DELETE/MERGE но зато есть в планах https://github.com/StarRocks/starrocks/issues/55526
StaкRocks поддерживает iceberg только на select.
Что-то вы забыли упомянуть, что на уровне hdfs/yarn Spark Connect виден как одна учетка.
Не очень понятно как вы выстраиваете свою архитектуру...
только append-only, insert overwrite уже нет, acid commit iceberg тоже нет и много чего из iceberg нет)) и инсерт пока только как эсперементальная функция, ждем доработки trino, но бесусловно StarRocks хорош, только пока под дашборды вместо клика)) trino под ad-hoc/etl легко. Вот если бы рассказывали не только о + но и о - и правду и решение проблем, а так все победили кроме заказчика который узнает обо всем потом...
StaкRocks поддерживает iceberg только на select.
что-то все молчат о индексах StarRocks и сколько времени занимает их создание на 1тб, ваши тесты не валидны, сделайте первые запуски на 10 разных ah-hoc и посмотрим, что будет и есть большие сомнения, что настроили движки правильно для их сравнения. Все сделано в пользу StarRocks для $, по этому автор и боиться показать настройки.
Очень ждем, сейчас пока продукт сырой в ванильке и в сборке adh, но мы верим и ждем!
У меня для вас тоже плохие новости - у нас не ванильная импала и dwh на ПТ и проблемы у вас точно такие же. Хабр это не про пресейл, Хабр это про то как вы решили трудную проблему и потратили много времени на исследование и решение. Читать как летают sql-движки абсолютно никому не интересно. Интересно проблемы в проде и как их решили.
У нас импала в проде, ваша синтетика не валидна. Проблемы импалы
1 - не шерит памят между воркерами, трино шерит.
2 - проблема с обновлением метаданных, валит хайв метастор через листерн
3 - залипают дискрипторы, что приводит к зависанию импалы, нужно каждый день перезагружать
4 - драйвера ограничены, только от клоудеры
5 - проблемы с Кириллицей
6 - из-за того, что не шерит память сильно просидает из-за перекосов
а у вас какая-то синтетика, в реальности ваши секунды никому не нужны, нужен стабильный движок и трино отлично с этим справляется.
Как вы надоели со своим скрамом, эти бесконечные дейли по 2-3 часа, глупые ретро. Поставьте нормально задачу в жире и не мешайте работать. Никому ваш скрам не нужен...