Кстати, не сочтите за оффтоп, но из всех серьезных MR-фреймворков лучше всего показал себя не особо известный Disco. Устанавливается в разы быстрее Хадупа, на среднего размера данных ведет себя намного быстрее, очень удобный веб-интерфейс, наглядные traceback ошибок, все «для людей». Не тестировал его на терабайтах данных, но по отзывам все должно быть ок. Тот самый случай, когда удобство сочетается с мощностью и производительностью (в отличие от монструозной Хадуп-экосистемы). Disclaimer: я не имею никакого отношения к разработчикам Disco, просто использую этот инструмент.
Прошу не закидывать меня помидорами, но лично мой опыт использования Pig оказался скорее негативным.
1) Он действительно медленный. Это скорее болезнь Hadoop, лежащего в основе. Данные размером в 32Гб обрабатывались 15 минут, причем расход оперативки составил 91Гб? 180 млн записей? Простите, да банальнейший кластер Postgres сделал бы то же самое, да еще и (возможно) быстрее. С Hive та же беда.
2) Подмножество Pig Latin SQL после перехода от «обычного» SQL, используемого в MySQL, Postgres и т.п. RDBMS, скорее мешает, нежели чем помогает. Парадигма Map-reduce не так уж сложна для восприятия, и лично мне намного проще накидать MR-воркер на том же Питоне, чем вникать в ограничения Pig SQL. Даже с Hive это чувствовалось.
3) По деньгам — зачастую краткосрочная аренда мощного SSD сервера и обработка данных там, используя привычный инструментарий, дает бОльший бизнес-профит.
3) На Хабре была уже статья — «у вас нет столько данных». Hadoop очень, очень медленный, сложный и неудобный (кто хоть раз пытался разобраться в exception логах, поймет). Его применения оправдано только в случае действительно больших данных (навскидку, от нескольких терабайт), и зоопарка серверов. Вы не поверите — простейший однопоточный скрипт на Питоне на данных порядка 200Гб оказывался быстрее, чем хваленый Хадуп (сравнивалась single-node инсталляция). Чего уж там говорить про Яву или Го или Си. Хадуп — один из немногих инструментов для обработки действительно больших данных, но на данных средних размеров он бесполезен.
Все, что я написал выше — следствие многомесячных экспериментов в стартапе, у которого обработка данных — основной бизнес-процесс. Перепробовано было множество инструментов, и Хадуп, и Хайв, и Пиг, и Кассандра, и Монго, и Диско, и Постгрес с Мускулем и самописные решения на Питоне. Модные инструменты — не значит эффективные.
P.S. Прошу прощения за кальки с английского — переключать постоянно раскладки слишком уж утомительно.
Подводные ядерные взрывы, при которых выделяется огромное количество энергии, не вызывали огромных цунами. Полагаю, чтобы создать искусственное цунами «в лоб», необходимо затратить на электрический разряд тоже немалое количество энергии. Разряд такой силы, вероятно, будет тяжело вызвать с помощью мобильной небольшой установки (которая бы вместилась на подводную лодку). Да и с помощью немобильной и большой — тоже. Подсчитайте мощность ядерного взрыва, ее водородно-кислородный эквивалент, а затем прикиньте, сколько электроэнергии будет необходимо для получения этого объема кислорода и водорода из воды.
Эксперимент конечно занимательный, но корреляция с «волнами-убийцами» прослеживается слабо, если честно. Вроде бы эти самые волны появляются и при совершенно безоблачной погоде (есть даже фото в интернетах). Да и недавно вроде как удалось смоделировать причину их появления — интерференция обычных морских волн + нелинейность, вызванная течениями, рельефом дна или чем-то там еще (не вникал глубоко).
Иными словами, был хороший рабочий коллектив, заточенный на решение конкретных задач. После этого — разговоры «ниочем», «зэковские» понятия вроде «общака» и сокрытие важной информации от начальства? =) Воспринимайте мой коммент как шутку, я просто хочу сказать, что все не так однозначно и во всем есть и плюсы, и минусы. (Update: ответил не на тот коммент, прошу прощения — предназначался marat_galimov).
Согласен. Стереотипы о стереотипах… Мы выросли на остатках советской пропаганды, которая яростно пыталась нам что-то внушить. Например то, что американцы нас считают врагом номер один, что каждый из них уверен, что в Сибири медведи бродят по улицам, а все русские пьют водку и бьют жен. Так вот, по факту — большинство американцев о нас вообще не думает и не знает. Мы для них просто белое пятно на карте. Единственное, что они могут вспомнить — это слово «Moscow», ни про медведей, ни про водку, ни про Путина никто не вспоминает. Не из политкорректности, а потому что действительно они про нас не думают и не знают вообще. Как большинство моих знакомых не думает и не знает ничего об Узбекистане\Пакистане\Бирме\Еще каком-нибудь государстве «третьего мира» (да простят мне этот эпитет).
Ох уж эти стереотипы… Я встречал и русских, которые «стучат» начальству, и американцев, которые не дают контекст вообще. Я даже знаю одного индуса (к сожалению, знаю его только «виртуально», по коду), который пишет вполне неплохой код. В общем, погрешность стереотипизации в реальности настолько велика, что ей (стереотипизацией) лучше не пользоваться вообще.
Кто издатель, если не секрет? «Плохо ведет себя в Маркете» — эта фраза либо скрывает за собой банальный обман, либо беспросветную глупость. «Игру плохо скачивают, потому что...», «Игру плохо покупают, потому что...» — и далее список выявленных проблем, например, плохое описание, тусклые иконки или еще что-то. Издатель на то и издатель, чтобы вести маркетинг и анализировать ситуацию, а не отвечать как наши политики в духе «масло подорожало».
Это был риторический вопрос =) Я имел в виду, что замечательно что такое появляется, но не будут ли власти мешать этому процессу? Олигархам вряд ли захочется терять монополию на рынке энергоресурсов.
Семейный институт есть продукт социума, а не природы. Размножаются все люди одинаково (я про сам физиологический процесс), а вот семьи бывают очень разные — и полные, и неполные, и с несколькими женами. И развод существует, в конце-концов. У каждого общества свои нормы и правила семейного института.
Ну а раз это продукт социума — то нет никакого повода объявлять его чем-то незыблемым и необходимым. Война, массовые убийства, геноцид, Макдональдс и Джастин Бибер — тоже продукты социума, в конце-концов.
Вы так говорите «закрывают глаза на весь остальной мир», как будто это что-то плохое =)
Нет, серьезно. Вот больше всего меня поражает в этой статье и некоторых комментариях к ней то, что люди почему-то считают семью «правильной», а работу «неправильной». И никто не удосуживается объяснить, почему одно хорошо, а другое нет. Что значит хорошо? Кому хорошо? Почему хорошо? Стереотипы, навязанные обществом.
Сохранять брак? Иногда проще стать миллиардером или выиграть Олимпийские игры. Поверьте, бывают такие ситуации, когда сохранить отношения очень тяжело, особенно если «вторая половина» в этом не заинтересована.
Удачи Вам в Ваших начинаниях. Она Вам когда-то ой как понадобится.
Я бы не сказал, что трусливые. В плане активности никак не отстают от наших, если судить «со стороны». Возможно даже активнее. Просто у них это типа «цивилизованнее» выглядит. Сразу и не понятно, «подкатывает» он, или просто поговорить о чем-то захотелось.
Это конечно относится только к белым. Дело не в цвете кожи, а в культурно-социальных различиях.
Отличная система, только ударной техники там мало. Во всяком случае у нас почти не было ее, только блоки\броски\захваты и т.п. Добавьте бокс или муай тай — и можно будет просить повышение у босса совсем по-другому =)
Если бы пенетрейшн был — было бы уже изнасилование.
А так да, за домогательство запросто засудить могут. Даже если домогательства-то и не было, по большому счету.
Вот такие у них идиотские порядки.
А Вы начните тоже ныть, что дома неубрано, что она не следит за собой, что дети (если есть) плохо воспитаны и т.п. Даже если это не так. Начните «пилить» ее так же. Прямо демонстративно, при любом удобном поводе. А через несколько дней спросите: понравилось ли ей? Умная сама догадается и притихнет, ну а для других есть бракоразводный процесс, если все действительно очень печально.
Я бы сказал, «личные отношения с конкретным человеком или успех конкретного проекта». Прозвучит возможно цинично, но девушек вокруг много, а шанс создать успешный бизнес в жизни выпадает ой как нечасто.
Каждый строит свою жизнь либо так, как хочет, либо так, как хотят другие.
1) Он действительно медленный. Это скорее болезнь Hadoop, лежащего в основе. Данные размером в 32Гб обрабатывались 15 минут, причем расход оперативки составил 91Гб? 180 млн записей? Простите, да банальнейший кластер Postgres сделал бы то же самое, да еще и (возможно) быстрее. С Hive та же беда.
2) Подмножество Pig Latin SQL после перехода от «обычного» SQL, используемого в MySQL, Postgres и т.п. RDBMS, скорее мешает, нежели чем помогает. Парадигма Map-reduce не так уж сложна для восприятия, и лично мне намного проще накидать MR-воркер на том же Питоне, чем вникать в ограничения Pig SQL. Даже с Hive это чувствовалось.
3) По деньгам — зачастую краткосрочная аренда мощного SSD сервера и обработка данных там, используя привычный инструментарий, дает бОльший бизнес-профит.
3) На Хабре была уже статья — «у вас нет столько данных». Hadoop очень, очень медленный, сложный и неудобный (кто хоть раз пытался разобраться в exception логах, поймет). Его применения оправдано только в случае действительно больших данных (навскидку, от нескольких терабайт), и зоопарка серверов. Вы не поверите — простейший однопоточный скрипт на Питоне на данных порядка 200Гб оказывался быстрее, чем хваленый Хадуп (сравнивалась single-node инсталляция). Чего уж там говорить про Яву или Го или Си. Хадуп — один из немногих инструментов для обработки действительно больших данных, но на данных средних размеров он бесполезен.
Все, что я написал выше — следствие многомесячных экспериментов в стартапе, у которого обработка данных — основной бизнес-процесс. Перепробовано было множество инструментов, и Хадуп, и Хайв, и Пиг, и Кассандра, и Монго, и Диско, и Постгрес с Мускулем и самописные решения на Питоне. Модные инструменты — не значит эффективные.
P.S. Прошу прощения за кальки с английского — переключать постоянно раскладки слишком уж утомительно.
Ну а раз это продукт социума — то нет никакого повода объявлять его чем-то незыблемым и необходимым. Война, массовые убийства, геноцид, Макдональдс и Джастин Бибер — тоже продукты социума, в конце-концов.
Нет, серьезно. Вот больше всего меня поражает в этой статье и некоторых комментариях к ней то, что люди почему-то считают семью «правильной», а работу «неправильной». И никто не удосуживается объяснить, почему одно хорошо, а другое нет. Что значит хорошо? Кому хорошо? Почему хорошо? Стереотипы, навязанные обществом.
Удачи Вам в Ваших начинаниях. Она Вам когда-то ой как понадобится.
Это конечно относится только к белым. Дело не в цвете кожи, а в культурно-социальных различиях.
А так да, за домогательство запросто засудить могут. Даже если домогательства-то и не было, по большому счету.
Вот такие у них идиотские порядки.
Каждый строит свою жизнь либо так, как хочет, либо так, как хотят другие.