да ладно, там 1-2 человека ковыряет по выходным. SuperServer же до сих пор костыль, где на каждое ядро процесс со своим независимым кешем, верно ? и до сих пор оно без настоящего лога транзакций, каждая транзакция обязана записать все блоки до фиксации коммита.
в чем смысл насиловать труп интербейз ? даже mysql/mariadb уже в иной эпохе был 10 лет назад. mariadb эмбедет вариант в связке с java работает очень давно, давно можно было бы переползти и забыть о вакуме и приколах многопоточности IB.
частности, Databricks, которая создала Delta Lake ... Delta Lake от Linux Foundation
текст ии генерировал.
расскажу страшную тайну, ни одна надстройка над файликами ACID не поддерживает. маркетолаги врут. delta, iceberg дают атомарность в пределах одной таблички, и честно пишут это даже в доках.
печально видеть как маркетинговый шит кушают и внедряют, не вникая даже в базис.
не стоит байки старичка воспринимать в серьез, на privet.com он умудрился CPU спутать даже не с ядрами, а с vCPU. то что он принял за сервера, почти наверняка просто докеры на мелкой машинке.
я бы не сказал. в техническом плане оракл с его UNDO log заметно красивей. mssql пишет версии строк от версионности в tempdb, который и так узкое место. ну и кластер RAC/Exadata. в техническом плане оракл пока красивей, но цена делает их обоих мало кому интересными вне облаков.
есть клон mysql не от оракла, называется mariadb и думаю большинство уже mariadb используют. у mysql есть киллер фича - там сильно круче ядро, сторидж енжин не один (и они легко подключаются) и главное - реализован UNDO log в стиле оракла. в результате нет vacuum и апдейты на таблицы с индексами не так бьют производительность. почитайте историю Uber, они очень подробно расписали проблему и почему они свалили на mysql. когда-то постгрес пытался UNDO log реализовать, но говорят Zheap инициатива сдохла, потому что в постгрес сторидж енжин прибит гвоздями и как у mysql не подменить.
но с другой стороны у mysql как-то криво реализовано чтение, похоже у них нет понятия латча и при апдейте всего одной строки на таблицу без индекса, он врубает full scan который блокирует нафиг всю таблицу. плюс у mysql сильно хуже оптимизатор.
почитай Бернштейна, там и про acid есть.
https://wwwbayer.in.tum.de/lehre/WS2001/HSEM-bayer/philip-bernstein.pdf
про спарк ты фигню спорол - у delta lake атомарность достигается модификацией одного, единственного json, сколько там акшенов - пофиг.
p.s. и я в курсе что "Delta Lake от Linux Foundation" галлюцинация ии, потому и написал.
да ладно, там 1-2 человека ковыряет по выходным. SuperServer же до сих пор костыль, где на каждое ядро процесс со своим независимым кешем, верно ? и до сих пор оно без настоящего лога транзакций, каждая транзакция обязана записать все блоки до фиксации коммита.
в чем смысл насиловать труп интербейз ? даже mysql/mariadb уже в иной эпохе был 10 лет назад. mariadb эмбедет вариант в связке с java работает очень давно, давно можно было бы переползти и забыть о вакуме и приколах многопоточности IB.
судя по воде и
частности, Databricks, которая создала Delta Lake
...
Delta Lake от Linux Foundation
текст ии генерировал.
расскажу страшную тайну, ни одна надстройка над файликами ACID не поддерживает. маркетолаги врут. delta, iceberg дают атомарность в пределах одной таблички, и честно пишут это даже в доках.
печально видеть как маркетинговый шит кушают и внедряют, не вникая даже в базис.
это не серьезно, mysql на таких объемах всех уделает. это же бигдата движки с упором на кластер. наверника на кластере расклад будет другим.
а этот PAX тоже только с appendony=true ? не совсем понятно как полноценный DWH с таким ограничением предлагается строить
не стоит байки старичка воспринимать в серьез, на privet.com он умудрился CPU спутать даже не с ядрами, а с vCPU. то что он принял за сервера, почти наверняка просто докеры на мелкой машинке.
не должно быть, по идеи у старых жав jit переделывали под е2к, врятли 20ю жава прооптимизировали. странно, что разрыв небольшой
интересно, java не отстает в разы. у мцст какой-то прорыв в оптимизации жава случился ?
ссылка на тг кривая
сколько стоит лицензия на западе, хотя бы примерно (2 мастера 4 сегментов) ?
есть. гугли 1BRC challenge
Там не только транслятор, там оптимизатор. Самая увесистая штка в субд
я бы не сказал. в техническом плане оракл с его UNDO log заметно красивей. mssql пишет версии строк от версионности в tempdb, который и так узкое место. ну и кластер RAC/Exadata. в техническом плане оракл пока красивей, но цена делает их обоих мало кому интересными вне облаков.
есть клон mysql не от оракла, называется mariadb и думаю большинство уже mariadb используют. у mysql есть киллер фича - там сильно круче ядро, сторидж енжин не один (и они легко подключаются) и главное - реализован UNDO log в стиле оракла. в результате нет vacuum и апдейты на таблицы с индексами не так бьют производительность. почитайте историю Uber, они очень подробно расписали проблему и почему они свалили на mysql. когда-то постгрес пытался UNDO log реализовать, но говорят Zheap инициатива сдохла, потому что в постгрес сторидж енжин прибит гвоздями и как у mysql не подменить.
но с другой стороны у mysql как-то криво реализовано чтение, похоже у них нет понятия латча и при апдейте всего одной строки на таблицу без индекса, он врубает full scan который блокирует нафиг всю таблицу. плюс у mysql сильно хуже оптимизатор.
в премиум такого нет
да, но как эту дельту клиенты читать будут, Kyuubi как я понял с LDAP не дружит.
а что вы кладете на hdfs, обычные паркеты ? там импала случайно не научилась читать delta или iceberg ?