Спасибо за вопрос, в будущих статьях постараемся более подробно расписать проблему. Что касается ванильных решений, то в статье мы подсветили проблему постгреса, что он имеет по большей части только вертикальное масштабирование и более сложную настройку, ClickHouse не подойдет для OLTP, SQLite не предназначен для высоконагруженных приложений - но тут согласен нужно было все эти минусы расписать и почему мы их не рассматривали. Что касается Greenplum - YugabyteDB предлагает истинное горизонтальное масштабирование, позволяя легко добавлять узлы и обрабатывать большие объёмы данных. Greenplum также может работать с большими данными, но его масштабирование чаще всего требует сложной настройки и управления.
Спасибо большое за фидбек, по поводу spark.dynamicAllocation.cachedExecutorIdleTimeout мы планируем рассказать по данному параметру в следующей статье, что касается выбора 5 ядер, выбрано в рамках практических решений, плюс также был выполнен тест, в виде простой задачи которая также описана, в случае с 5ю ядрами результат оказался самым эффективным, никто не запрещает уменьшать или увеличивать, также хочу отметить что данная статья подходит больше для молодых специалистов, которые не выполняют сложных расчетов, и делают базовые запросы вызова и вывода результатов
Спасибо за фидбек!
Но для всех задач, есть одно решение Excel)
Спасибо за вопрос, в будущих статьях постараемся более подробно расписать проблему.
Что касается ванильных решений, то в статье мы подсветили проблему постгреса, что он имеет по большей части только вертикальное масштабирование и более сложную настройку, ClickHouse не подойдет для OLTP, SQLite не предназначен для высоконагруженных приложений - но тут согласен нужно было все эти минусы расписать и почему мы их не рассматривали.
Что касается Greenplum - YugabyteDB предлагает истинное горизонтальное масштабирование, позволяя легко добавлять узлы и обрабатывать большие объёмы данных. Greenplum также может работать с большими данными, но его масштабирование чаще всего требует сложной настройки и управления.
Хороший вариант для следующей статьи)
Да в Юге есть как импорт с постгреса так и экспорт
просто хотели сделать объективный обзор без рекламы)
Спасибо за обратную связь, хотелось просто понять, что из себя представляют новые решения, и могут ли они заменить классические варианты.
Спасибо большое за фидбек, по поводу spark.dynamicAllocation.cachedExecutorIdleTimeout мы планируем рассказать по данному параметру в следующей статье, что касается выбора 5 ядер, выбрано в рамках практических решений, плюс также был выполнен тест, в виде простой задачи которая также описана, в случае с 5ю ядрами результат оказался самым эффективным, никто не запрещает уменьшать или увеличивать, также хочу отметить что данная статья подходит больше для молодых специалистов, которые не выполняют сложных расчетов, и делают базовые запросы вызова и вывода результатов
Очень удобно!)