Before PostgreSQL 12, performance could be affected by too many table partitions, and it was recommended to have 100 or less partitions. But as of version 12, partitioning performance has been greatly improved, so that even thousands of partitions can be processed efficiently.
Т.е. до версии 12, у постгреса тоже было 100 и менее партиций. А теперь тысячи могут быть эффективно обработаны. Так что если если 10 тыс партиций в Hive просто не рекомендуется - так это понятно, но в сравнении с это далеко не недостаток, и скорее всего постгресу на таком же количестве тоже будет плоховато без тюнинга.
Мы уже много раз упирались в такие ограничения хадупа, как миллион файлов в папке (можно обойти). На реально больших данных во что только не упираешься. Так что я бы сказал, что некое ограничение на уровне где-то миллиона партиций должно существовать, но наткнутся на него очень и очень немногие.
Да, и еще... в моем понимании Hive уже достаточно давно не использует MapReduce. Там TEZ, а это все-таки не совсем тоже самое, потому что выполняем мы не просто Map или Reduce задачи, а DAG.
Ограничение по количеству партиций: не рекомендуется использовать более 10 тысяч партиций, что может привести к сильному замедлению работы кластера;
А вы попробуйте создать более 10 тыс партиций в постгресе. Вот когда вы это сделаете, и померяете, тогда будет реально ясно, что лучше.
А пока... вы ведь понимаете, что партиция в Hive хранится по сути в памяти namenode? Потому что это просто папка, и у нее нет никаких других свойств при выполнении запроса (на самом деле они есть в метасторе, но с точки зрения where есть только имя). А значит большое число партиций - это большой объем памяти namenode, с понятными последствиями.
Ну в какой-то степени да, но раз уж упоминается кассандра и hbase, было бы логично хотя бы упомянуть. А любая другая SQL СУБД - что там по сути есть, кроме метастора и движка? Этих двух как выясняется, достаточно для полноценной работы (хотя и специфичной, местами).
Моя десятка может быть вам даже и не знакома - у меня там паттерны из EIP так называемых. Ну а помимо - фабрики, билдеры, это наверное уже процентов 90 будет.
Так а чисто формально, что бы изменилось? Ну вот представьте, мы клиент. Нам показывают сертификат jabber.ru, подписанный центром, которому клиент доверяет. И что? Как клиент может отличить вот этот "плохой" сертификат от того "хорошего"? И как отличить случай "подделки" от того случая, когда jabber.ru скажем утерял свой приватный ключ для подписи, и сам перевыпустил новый сертификат в другом удостоверяющем центре? Ну т.е. понятно что сам факт перевыпуска клиент может при желании обнаружить, но это и все. Ну вот он и не обнаружил - и в результате спецслужбы какое-то (возможно длительное) время слушали трафик, пока не прокололись на протухшем сертификате.
А, ну да. Читал. Честно говоря, такой вывод не совсем очевиден. Не только провайдеры и ЦОД-ы - эти нужны для перехвата трафика, но ведь и поддельный сертификат же кто-то выпустил, т.е. участвовал и какой-то центр сертификации. А вообще говоря, если мы этому самому центру сертификации не доверяем, то да, доменные сертификаты ни о чем.
Э, и каким же образом отсутствие прямой секретности высосано из пальца? Ее же на самом деле нет. Можно конечно сказать, что это несвойственная для инструмента задача, но с другой стороны, это такое свойство, которое потребителю вполне может быть важно.
Речь не про архивные юридически сильные документы, содержащие ещё и временные штампы со сложными цепочками доверия сертификатов — подобных монстров многие ИТ-люди вообще могут за всю свою жизнь не встретить.
Ну примерно так же и с этим. Могут и не встретить. Но если встретят - то что им делать? Инструмент же не умеет (и научить его нельзя). В смысле, пользователь не сможет собрать его сам из говна я палок из имеющихся под рукой деталей. Поэтому вопрос, должен ли инструмент это все уметь (понятно что ценой усложнения и потенциально - уязвимости) - ну он такой, все-таки немного дискуссионный.
Никто, за редчайшими исключениями, не использует кастомные теги, не говоря уже про их API. А очень зря.
Насколько я помню, кастомные тэги были одной из ключевых концепций в Google Polymer. Ну т.е. не то чтобы их совсем-совсем не применяли, нет. Но во второй уже кажется версии все изменилось. И да, я согласен, что зря.
Ну как бы, то что у вас описано про монаду, обычно реализуется при помощи аппликативных функторов. Именно валидация. И это имеет смысл. И это даже похоже на монаду - но именно что похоже, а не является ей.
Я бы даже так сказал - нет ничего плохого в том, что вы для себя пытаетесь разобраться в паттернах (хотя их польза на мой взгляд сильно преувеличена, для такого уровня опыта как у вас - и подавно). Но пытаться с годом опыта описать для других сто паттернов, с которыми вы никогда в жизни не сталкивались - бессмысленное занятие.
Паттерн это типовое решение типовой задачи. У вас нет опыта решения типовых задач, для вас большинство задач пока новые. Я бы оценил число широко используемых паттернов в десяток, в лучшем случае.
Причем - вот скажем с появлением в Java лямбд, т.е. по сути, безымянных функций, которые можно записать прямо в коде, некоторые паттерны в этом языке просто умерли за ненадобностью. Т.е. описывать сто паттернов в ситуации, когда язык развивается - это тоже ну такое...
Значит вы вообще ничего не знаете. Писать о паттернах с годом опыта вообще весьма самоуверенно. Получается на выходе как правило фигня, что мы и наблюдаем во втором посте.
Вот монада, один из взглядов на нее (есть еще чисто математический взгляд). В упрощенном виде - потому что только на Хабре уже только ленивый не писал о монадах, и хорошо, и плохо, а главное - много.
В том-то и дело, что у меня опыта в разработке 45 лет, и я нанимаю людей уже почти 20 лет как. Но выж не планируете ко мне наниматься, правда? Так что для вас это несущественно. Существенно то, что такое впечатление, как у меня, вполне может сложиться, как сложилось у нас тут, так и у кого-то еще сложится. Какая вам разница, между строк я это прочитал, или как? Вы же вольны игнорировать это впечатление, но оно вполне реально, хотя и разумеется субъективно.
@Bormandoну вот обратите внимание. Это ровно те же мысли, только более развернуто, что я вам чуть выше написал. То есть у двоих людей минимум впечатление сложилось один в один.
Понятно что вы пишете не про это, просто вторая часть текста про обман клиентов - она не вызывает видимо особых сомнений у читающих.
Ну, вы пишете в том числе про то, как пытаетесь себя продать в США. Понятно что это часть темы, но в том числе.
Вот я вам описал, какое впечатление у меня сложилось от вашего описания себя. QA с таким опытом - недостаточно даже для того, чтобы мне стало интересно вас позвать в текущий проект. Без переезда и так далее. Нет в этом ничего, чтобы вас выделило достаточно явно. Это совершенно не означает, что вы неопытный или тем более плохой работник - возможно текущий работодатель вас очень ценит, но для новой компании этого мало.
Ну да. Что такие люди компаниям не интересны. Но при этом почему-то оптимистично считаете, что для вас сделают исключение? Между прочим, для справки - когда вы в статье пишете в начале, что вы QA с опытом более 5 лет, у меня сразу возникает вопрос - ну и чо? Не, понятно что вы уже не просто QA, а лид направления, но вот эти вот 5 лет - это в принципе ни о чем. Реально оценить ваш опыт по этим словам невозможно. Он может быть как достаточно обширным (если это пять лет лидом команды QA, и еще до этого сколько-то), так и совсем маленьким.
Ну т.е. я что хотел сказать - что "так вы слона не продадите" )
У нас в нем примерно 30 петабайт данных. Почему нет?
P.S. Вот, кстати:
Т.е. до версии 12, у постгреса тоже было 100 и менее партиций. А теперь тысячи могут быть эффективно обработаны. Так что если если 10 тыс партиций в Hive просто не рекомендуется - так это понятно, но в сравнении с это далеко не недостаток, и скорее всего постгресу на таком же количестве тоже будет плоховато без тюнинга.
Мы уже много раз упирались в такие ограничения хадупа, как миллион файлов в папке (можно обойти). На реально больших данных во что только не упираешься. Так что я бы сказал, что некое ограничение на уровне где-то миллиона партиций должно существовать, но наткнутся на него очень и очень немногие.
Да, и еще... в моем понимании Hive уже достаточно давно не использует MapReduce. Там TEZ, а это все-таки не совсем тоже самое, потому что выполняем мы не просто Map или Reduce задачи, а DAG.
А вы попробуйте создать более 10 тыс партиций в постгресе. Вот когда вы это сделаете, и померяете, тогда будет реально ясно, что лучше.
А пока... вы ведь понимаете, что партиция в Hive хранится по сути в памяти namenode? Потому что это просто папка, и у нее нет никаких других свойств при выполнении запроса (на самом деле они есть в метасторе, но с точки зрения where есть только имя). А значит большое число партиций - это большой объем памяти namenode, с понятными последствиями.
Ну в какой-то степени да, но раз уж упоминается кассандра и hbase, было бы логично хотя бы упомянуть. А любая другая SQL СУБД - что там по сути есть, кроме метастора и движка? Этих двух как выясняется, достаточно для полноценной работы (хотя и специфичной, местами).
Моя десятка может быть вам даже и не знакома - у меня там паттерны из EIP так называемых. Ну а помимо - фабрики, билдеры, это наверное уже процентов 90 будет.
Так а чисто формально, что бы изменилось? Ну вот представьте, мы клиент. Нам показывают сертификат jabber.ru, подписанный центром, которому клиент доверяет. И что? Как клиент может отличить вот этот "плохой" сертификат от того "хорошего"? И как отличить случай "подделки" от того случая, когда jabber.ru скажем утерял свой приватный ключ для подписи, и сам перевыпустил новый сертификат в другом удостоверяющем центре? Ну т.е. понятно что сам факт перевыпуска клиент может при желании обнаружить, но это и все. Ну вот он и не обнаружил - и в результате спецслужбы какое-то (возможно длительное) время слушали трафик, пока не прокололись на протухшем сертификате.
А, ну да. Читал. Честно говоря, такой вывод не совсем очевиден. Не только провайдеры и ЦОД-ы - эти нужны для перехвата трафика, но ведь и поддельный сертификат же кто-то выпустил, т.е. участвовал и какой-то центр сертификации. А вообще говоря, если мы этому самому центру сертификации не доверяем, то да, доменные сертификаты ни о чем.
А можете напомнить, в чем там было дело?
Э, и каким же образом отсутствие прямой секретности высосано из пальца? Ее же на самом деле нет. Можно конечно сказать, что это несвойственная для инструмента задача, но с другой стороны, это такое свойство, которое потребителю вполне может быть важно.
Ну примерно так же и с этим. Могут и не встретить. Но если встретят - то что им делать? Инструмент же не умеет (и научить его нельзя). В смысле, пользователь не сможет собрать его сам
из говна я палокиз имеющихся под рукой деталей. Поэтому вопрос, должен ли инструмент это все уметь (понятно что ценой усложнения и потенциально - уязвимости) - ну он такой, все-таки немного дискуссионный.Насколько я помню, кастомные тэги были одной из ключевых концепций в Google Polymer. Ну т.е. не то чтобы их совсем-совсем не применяли, нет. Но во второй уже кажется версии все изменилось. И да, я согласен, что зря.
Ну как бы, то что у вас описано про монаду, обычно реализуется при помощи аппликативных функторов. Именно валидация. И это имеет смысл. И это даже похоже на монаду - но именно что похоже, а не является ей.
Ну да, суть в том чтобы выкинуть сто, которые все равно никто не применяет. И хорошо описать десяток.
Я бы даже так сказал - нет ничего плохого в том, что вы для себя пытаетесь разобраться в паттернах (хотя их польза на мой взгляд сильно преувеличена, для такого уровня опыта как у вас - и подавно). Но пытаться с годом опыта описать для других сто паттернов, с которыми вы никогда в жизни не сталкивались - бессмысленное занятие.
Паттерн это типовое решение типовой задачи. У вас нет опыта решения типовых задач, для вас большинство задач пока новые. Я бы оценил число широко используемых паттернов в десяток, в лучшем случае.
Причем - вот скажем с появлением в Java лямбд, т.е. по сути, безымянных функций, которые можно записать прямо в коде, некоторые паттерны в этом языке просто умерли за ненадобностью. Т.е. описывать сто паттернов в ситуации, когда язык развивается - это тоже ну такое...
Значит вы вообще ничего не знаете. Писать о паттернах с годом опыта вообще весьма самоуверенно. Получается на выходе как правило фигня, что мы и наблюдаем во втором посте.
https://ru.wikipedia.org/wiki/Монада_(программирование)
Вот монада, один из взглядов на нее (есть еще чисто математический взгляд). В упрощенном виде - потому что только на Хабре уже только ленивый не писал о монадах, и хорошо, и плохо, а главное - много.
То что тут описано под название Монада, никакого отношения к монаде не имеет вообще. Продолжение фигни из предыдущего поста. Горшочек, не вари.
В том-то и дело, что у меня опыта в разработке 45 лет, и я нанимаю людей уже почти 20 лет как. Но выж не планируете ко мне наниматься, правда? Так что для вас это несущественно. Существенно то, что такое впечатление, как у меня, вполне может сложиться, как сложилось у нас тут, так и у кого-то еще сложится. Какая вам разница, между строк я это прочитал, или как? Вы же вольны игнорировать это впечатление, но оно вполне реально, хотя и разумеется субъективно.
@Bormandoну вот обратите внимание. Это ровно те же мысли, только более развернуто, что я вам чуть выше написал. То есть у двоих людей минимум впечатление сложилось один в один.
Понятно что вы пишете не про это, просто вторая часть текста про обман клиентов - она не вызывает видимо особых сомнений у читающих.
Ну, вы пишете в том числе про то, как пытаетесь себя продать в США. Понятно что это часть темы, но в том числе.
Вот я вам описал, какое впечатление у меня сложилось от вашего описания себя. QA с таким опытом - недостаточно даже для того, чтобы мне стало интересно вас позвать в текущий проект. Без переезда и так далее. Нет в этом ничего, чтобы вас выделило достаточно явно. Это совершенно не означает, что вы неопытный или тем более плохой работник - возможно текущий работодатель вас очень ценит, но для новой компании этого мало.
Ну да. Что такие люди компаниям не интересны. Но при этом почему-то оптимистично считаете, что для вас сделают исключение? Между прочим, для справки - когда вы в статье пишете в начале, что вы QA с опытом более 5 лет, у меня сразу возникает вопрос - ну и чо? Не, понятно что вы уже не просто QA, а лид направления, но вот эти вот 5 лет - это в принципе ни о чем. Реально оценить ваш опыт по этим словам невозможно. Он может быть как достаточно обширным (если это пять лет лидом команды QA, и еще до этого сколько-то), так и совсем маленьким.
Ну т.е. я что хотел сказать - что "так вы слона не продадите" )