Если у вас есть опыт использования обоих, было бы очень интересно почитать статью-сравнение. Я тоже довольный пользователь Плекса, сетап - сервер с торрентокачалкой, два телевизора на android с приложениями Плекса в той же гигабитной сети + смартфон с приложением Плекса. Сервер торчит наружу, соответственно со смартфона могу смотреть скачанное по всему миру.
Телевизоры кстати пришлось подключать через гигабитные USB Ethernet адаптеры, иначе тяжёлые 4к фильмы тормозят, и на было сервере видно полочку в 100мбит отдачи.
Кстати, Vodafone даёт хорошую скидку если ты уже клиент Зигго, так как это одна компания теперь. Можно х2 трафика на моб контракт получить если есть контракт с Зигго на дом. интернет.
Ookla через веб версию на телефоне подключенному по wifi показывает пинг 40мс, но мне задержка не оч важна, я не играю в онлайн. 40мс это хорошо или плохо по современным меркам?
Ваш опыт совсем не показательный, честно говоря вам очень не повезло иметь такую квартиру/дом где нет хотя бы Ziggo (а он есть почти везде где есть тв антенна). Ну или не повезло с лендлордом если снимали)
Сейчас в Нидерландах (и в Амстере в частности) наиболее популярны два способа подключения:
Оптика до дома/квартиры (например KPN), тут все понятно. Макс скорость сейчас 4 Гбит, стоит 70 евро в месяц. Минимально - 100мбит, около 30 евро со скидками.
Подключение через тв-антенну специальным роутером (Ziggo/Vodafone). Звучит ужасно, но! Я не знаю, как они это делают, но они дают по этому жалкому двухжильному проводу честный гигабит! У меня к дому подходит оптика и я легко могу переключиться на нее, но меня полностью устраивает Зигго, я вижу честный гигабит в торрентах. Стоит дешевле чем оптика, ну может аптайм похуже (раз в месяц пропадает линк ночью около 3 часов ночи на час, как будто регламентные работы какие-то).
Эта ветка комментариев каждый раз заставляет меня начать рефлексировать :) Прошло 6 лет... Сколько компаний, проектов, технлогий...
У Greenplum складывается непростая, но интересная судьба. Естественно, всё что ниже это моё субъективное мнение.
Условно-негативное:
Компании Pivotal уже несколько лет не существует - её поглатила Vmware. Соответвенно, теперь это VMware Greenplum
Для Vmware это непрофильный актив, и в первый год после поглощения было заметно как его пытаются "натянуть на глобус" - а давайте его продавать поверх виртуалок, а давайте засунем его в новый виртуальный апплаенс, и тд
Около двух лет назад из команды Greenplum ушла большая часть сениор разработчиков которые были там длительное время (видно по активности тут)
Greenplum не стал развиваться в сторону cloud решений, не появился serverless Greenplum поверх AWS, GCP etc. Это в целом понятно с учётом специфики нового владельца
Условно-позитивное:
Greenplum финансируется, и в некоторых сферах смена владельца пошла ему на пользу (маркетинг, например). Судя по активности видно что проект живёт
Ну и, конечно, потрясающая ситуация с Greenplum в РФ. После ухода зарабежных вендоров open-source решение с поддержкой от локальных вендоров обрело взрывную попкулярность. Сюда же можно добавить Greenplum as a service от крупнейших облачных провайдеров РФ
P.S. Я больше не связан с Greenplum напрямую, поэтому держать руку на пульсе уже не могу, возможно что-то упустил.
Что ж, изменений много. Greenplum выбран лучшей СУБД для абсолютно всех задач, его используют во всех девайсах сложнее тетриса, встроенная в ГП библиотека MADLIB предсказала ковид за год до пандемии, автопилот Тесла использует ГП для движению по маршруту, и выяснилось, что на борту Вояджер-1 также работает Greenplum - именно поэтому Вояджер всё ещё в строю :)
Ну а если серьёзно, то это классное место чтобы написать для себя отчёт за год. Итак:
Сообщество российских инженеров Greenplum выросло до 1080 человек и растёт дальше - мы прорвались в Full HD. По моему субъективному мнению в РФ практически не осталось специалиста по реляционным СУБД, не слышавшего или не работавшего с Greenplum
За время нашей пятилетней переписки я во второй раз сменил компанию-работодателя, и я всё также остаюсь связан с Greenplum. В этом году мы запустили Managed Greenplum в облаке Yandex.Cloud - полностью управляемый сервис Greenplum, который берёт на себя задачи мониторинга, бекапирования, резервирования, масштабирования и другую грязную работу. Оставили пользователям самое вкусное - загрузку и преобразование данных.
В процессе реализации п.2 полечили одну из родовых травм Greenplum - отсутствие нормальных бекапов. Теперь бекапы можно делать через WAL, без дополнительных блокировок на таблицу.
В этом году планируем много классных фич - Managed PXF, Performance Diagnostics, автоматическое переключение на зеркальные сегменты и стендбай мастер.
P.S. Публично приглашаю вас впервые за пять лет встретиться и выпить пива :)
Я уже 4 года как не работаю в Тинькофф, поэтому лучше, если ответит кто-то из ребят команды DWH :)
Но насколько я знаю (и, кажется, могу это озвучивать тк озвучивал это лет пять назад на одном из митапов), в Тинькофф наследуются модель из продукта SAS Analytics for Banking, так как ещё до ГП хранилище было целиком построено на технологиях SAS. Наверно, ближе всего из вашего списка это к 3nf — что-то среднее между Кимбалом и Инманом, но, повторюсь, лучше спросить ребят из Тинькофф.
Да, имелось ввиду что для аналитических сценариев нужен специфический функционал, которого нет в Citus и PostgresXL, но он есть (в том или ином виде) в GP.
Этой ветке комментариев 4 года, как летит время… Но теперь я знаю, что вы не бот :)
Greenplum сейчас, пожалуй, главный тренд аналитических СУБД в России. За год мы выполнили несколько очень крупных (>100Тб) внедрений, также GP внедряют коллеги по цеху — интеграторы. Сейчас Greenplum в России только по моим данным используют больше 50 относительно крупных компаний (с учётом специфики аналитических СУБД для больших объёмов это весомое количество пользователей)
В том числе выполнили несколько миграций с других СУБД — с Терадата и Экзадата
Greenplum доступен как сервис в нескольких облачных провайдерах, и скоро их будет больше
Активно ведётся разработка Greenplum 7 — уже сейчас понятно, что он будет основан на PG 12, если это случится это будет большая победа для сообщества GP
За прошедший год провели несколько митапов по GP, последний очный митап собрал около 170 человек. Мы уже были готовы перейти к формату конференции, но вмешалась пандемия, поэтому откатились до онлайн-формата. Скучаю по ламповым посиделкам с пиццей и спорами за MERGE JOIN
За год обучение эксплуатации Greenplum прошли более 300 человек. Это DBA, архитекторы, разработчики
Понятно, спасибо. Хорошо, если хватает пропускной способности мастера, но в случае масштабирования нагрузки и самого кластера крайне рекомендую вложиться в загрузчик на gpfdist :)
Использовался ли при загрузке в Greenplum параллельный загрузчик gpfdist, или заливали через JDBC/ODBC? В последнем случае все данные льются через мастер, это плохой способ загрузки в Greenplum.
Создатель канала не захотел наплыва пользователей в канал и изменил ссылку(
Не буду из-за этого давать прямую ссылку, но вот его оригинальная статья на драйве, там внизу есть правильная ссылка на канал: www.drive2.ru/l/485801071864709696
Вот тут интересный опыт управления Bluetooth плеером штатными кнопками на руле Opel Astra.
А вот тут ТГ-сообщество CAN-хакеров семейства авто Opel (Astra, Corsa, Zafira и тд). Там есть и более интересные проекты — с выводом своей инфы на дисплей, изменением логики поведения авто, автозапуском и так далее.
О, с RLE ситуация интересная. Действительно, RLE даёт фантастическую степень сжатия (в моей практике доходило до 60-70 раз). Иногда. Если быть точным, при соблюдении нескольких условий:
1. Дельта между данными (строками) небольшая и одинаковая
2. Таблица отсортирована (в случае с ГП это INSERT… SELECT… ORDER BY… )
На практике RLE выстреливает ОЧЕНЬ редко. Всегда надо пробовать и смотреть, что оно даст. Обычно получается использовать RLE для подневных витрин или таблиц фактов.
Про метаданные — всё так. Другой вопрос, что если у вас настолько много метаданных, что они реплецируются по интерконнекту часами, то, возможно, стоит пересмотреть модель? В нашей практике есть только один заказчик с действительно раздутыми каталогами.
gp_upgrade — да, пока не доделан. Кстати, наша команда (Arenadata) принимала активное участие в его разработке этим летом, надеемся к нему вернуться. Минусы бекапа и рестора понятны, но есть разные методики, ускоряющие миграцию, мы в том числе и этим помогаем нашим заказчикам.
В целом, правильно, но есть нюанс: один запрос утилизирует максимум одно ядро на один сегмент. То есть, если, например, в вашем примере 6 сегментов и 16 ядер на сегмент-сервер, то один запрос утилизирует максимум 6 ядер, два запроса — 12 ядер, и так далее. Так как обычно в аналитической СУБД работает 20-100 запросов, то проблем с утилизацией не возникает почти никогда (если, конечно, совсем не жестить и не делать по одному сегменту на сервер).
Каааак?? Как вы это делаете? :)
Вышел Greenplum 6 — только что опубликовал статью про новые фичи.
А так всё прекрасно, Greenplum в России становится всё больше и это очень приятно.
На всякий случай, в Greenplum есть транзакции (ACID + ANSI SQL). С нагрузкой тоже все ок, эксплуатируем очень жёсткие кластера по 20+ нод :)
Но Вертика тоже отличная система и у вас грандиозные планы, так держать!
Если у вас есть опыт использования обоих, было бы очень интересно почитать статью-сравнение. Я тоже довольный пользователь Плекса, сетап - сервер с торрентокачалкой, два телевизора на android с приложениями Плекса в той же гигабитной сети + смартфон с приложением Плекса. Сервер торчит наружу, соответственно со смартфона могу смотреть скачанное по всему миру.
Телевизоры кстати пришлось подключать через гигабитные USB Ethernet адаптеры, иначе тяжёлые 4к фильмы тормозят, и на было сервере видно полочку в 100мбит отдачи.
Кстати, Vodafone даёт хорошую скидку если ты уже клиент Зигго, так как это одна компания теперь. Можно х2 трафика на моб контракт получить если есть контракт с Зигго на дом. интернет.
Ookla через веб версию на телефоне подключенному по wifi показывает пинг 40мс, но мне задержка не оч важна, я не играю в онлайн. 40мс это хорошо или плохо по современным меркам?
Ваш опыт совсем не показательный, честно говоря вам очень не повезло иметь такую квартиру/дом где нет хотя бы Ziggo (а он есть почти везде где есть тв антенна). Ну или не повезло с лендлордом если снимали)
Сейчас в Нидерландах (и в Амстере в частности) наиболее популярны два способа подключения:
Оптика до дома/квартиры (например KPN), тут все понятно. Макс скорость сейчас 4 Гбит, стоит 70 евро в месяц. Минимально - 100мбит, около 30 евро со скидками.
Подключение через тв-антенну специальным роутером (Ziggo/Vodafone). Звучит ужасно, но! Я не знаю, как они это делают, но они дают по этому жалкому двухжильному проводу честный гигабит! У меня к дому подходит оптика и я легко могу переключиться на нее, но меня полностью устраивает Зигго, я вижу честный гигабит в торрентах. Стоит дешевле чем оптика, ну может аптайм похуже (раз в месяц пропадает линк ночью около 3 часов ночи на час, как будто регламентные работы какие-то).
Эта ветка комментариев каждый раз заставляет меня начать рефлексировать :) Прошло 6 лет... Сколько компаний, проектов, технлогий...
У Greenplum складывается непростая, но интересная судьба. Естественно, всё что ниже это моё субъективное мнение.
Условно-негативное:
Компании Pivotal уже несколько лет не существует - её поглатила Vmware. Соответвенно, теперь это VMware Greenplum
Для Vmware это непрофильный актив, и в первый год после поглощения было заметно как его пытаются "натянуть на глобус" - а давайте его продавать поверх виртуалок, а давайте засунем его в новый виртуальный апплаенс, и тд
Около двух лет назад из команды Greenplum ушла большая часть сениор разработчиков которые были там длительное время (видно по активности тут)
Greenplum не стал развиваться в сторону cloud решений, не появился serverless Greenplum поверх AWS, GCP etc. Это в целом понятно с учётом специфики нового владельца
Условно-позитивное:
Greenplum финансируется, и в некоторых сферах смена владельца пошла ему на пользу (маркетинг, например). Судя по активности видно что проект живёт
Ну и, конечно, потрясающая ситуация с Greenplum в РФ. После ухода зарабежных вендоров open-source решение с поддержкой от локальных вендоров обрело взрывную попкулярность. Сюда же можно добавить Greenplum as a service от крупнейших облачных провайдеров РФ
P.S. Я больше не связан с Greenplum напрямую, поэтому держать руку на пульсе уже не могу, возможно что-то упустил.
Пять лет - это маленький юбилей!)
Что ж, изменений много. Greenplum выбран лучшей СУБД для абсолютно всех задач, его используют во всех девайсах сложнее тетриса, встроенная в ГП библиотека MADLIB предсказала ковид за год до пандемии, автопилот Тесла использует ГП для движению по маршруту, и выяснилось, что на борту Вояджер-1 также работает Greenplum - именно поэтому Вояджер всё ещё в строю :)
Ну а если серьёзно, то это классное место чтобы написать для себя отчёт за год. Итак:
Сообщество российских инженеров Greenplum выросло до 1080 человек и растёт дальше - мы прорвались в Full HD. По моему субъективному мнению в РФ практически не осталось специалиста по реляционным СУБД, не слышавшего или не работавшего с Greenplum
За время нашей пятилетней переписки я во второй раз сменил компанию-работодателя, и я всё также остаюсь связан с Greenplum. В этом году мы запустили Managed Greenplum в облаке Yandex.Cloud - полностью управляемый сервис Greenplum, который берёт на себя задачи мониторинга, бекапирования, резервирования, масштабирования и другую грязную работу. Оставили пользователям самое вкусное - загрузку и преобразование данных.
В процессе реализации п.2 полечили одну из родовых травм Greenplum - отсутствие нормальных бекапов. Теперь бекапы можно делать через WAL, без дополнительных блокировок на таблицу.
В этом году планируем много классных фич - Managed PXF, Performance Diagnostics, автоматическое переключение на зеркальные сегменты и стендбай мастер.
P.S. Публично приглашаю вас впервые за пять лет встретиться и выпить пива :)
Но насколько я знаю (и, кажется, могу это озвучивать тк озвучивал это лет пять назад на одном из митапов), в Тинькофф наследуются модель из продукта SAS Analytics for Banking, так как ещё до ГП хранилище было целиком построено на технологиях SAS. Наверно, ближе всего из вашего списка это к 3nf — что-то среднее между Кимбалом и Инманом, но, повторюсь, лучше спросить ребят из Тинькофф.
Понятно, спасибо. Хорошо, если хватает пропускной способности мастера, но в случае масштабирования нагрузки и самого кластера крайне рекомендую вложиться в загрузчик на gpfdist :)
Не буду из-за этого давать прямую ссылку, но вот его оригинальная статья на драйве, там внизу есть правильная ссылка на канал: www.drive2.ru/l/485801071864709696
А вот тут ТГ-сообщество CAN-хакеров семейства авто Opel (Astra, Corsa, Zafira и тд). Там есть и более интересные проекты — с выводом своей инфы на дисплей, изменением логики поведения авто, автозапуском и так далее.
От Nestea. Горлышко шире :)
1. Дельта между данными (строками) небольшая и одинаковая
2. Таблица отсортирована (в случае с ГП это INSERT… SELECT… ORDER BY… )
На практике RLE выстреливает ОЧЕНЬ редко. Всегда надо пробовать и смотреть, что оно даст. Обычно получается использовать RLE для подневных витрин или таблиц фактов.
Про метаданные — всё так. Другой вопрос, что если у вас настолько много метаданных, что они реплецируются по интерконнекту часами, то, возможно, стоит пересмотреть модель? В нашей практике есть только один заказчик с действительно раздутыми каталогами.
gp_upgrade — да, пока не доделан. Кстати, наша команда (Arenadata) принимала активное участие в его разработке этим летом, надеемся к нему вернуться. Минусы бекапа и рестора понятны, но есть разные методики, ускоряющие миграцию, мы в том числе и этим помогаем нашим заказчикам.
GRANT { { SELECT | INSERT | UPDATE | REFERENCES } ( column_name [, ...] )
[, ...] | ALL [ PRIVILEGES ] ( column_name [, ...] ) }
ON [ TABLE ] table_name [, ...]
И там же пример:
GRANT SELECT (col1), UPDATE (col1) ON mytable TO miriam_rw;
Вышел Greenplum 6 — только что опубликовал статью про новые фичи.
А так всё прекрасно, Greenplum в России становится всё больше и это очень приятно.
На всякий случай, в Greenplum есть транзакции (ACID + ANSI SQL). С нагрузкой тоже все ок, эксплуатируем очень жёсткие кластера по 20+ нод :)
Но Вертика тоже отличная система и у вас грандиозные планы, так держать!