samsung evo 850 4Tb ssd с 5 лет гарантией стоит порядка $1100, чтение 500 Mb/s. эти лапти заплатили $15 млн за тупой сторидж 6ПТ, вот и считай. SSD тагого объема потянут лишь на $2 млн. да хадупу надо будет репликейшен фактор 3-4, но на итог это мало скажется, т.к. не хранит индексы и упаковка много эффективней. т.е. на хадупе, который далеко не тупой сторидж, решение бы запросто уместилось в $3-5 млн с гигантским запасом по дискам. причем SSD дискам.
а теперь расскажи на кой готовить эти данные если к ним нужен оракл ЕЕ с партишенингом и сторидж за $15 млн с ножным… простите механическим приводом?
хадуп в лоб становиться нужным, что бы не тратить $15 млн на устаревшие Power8 и механические HDD, а тратить на что-то вменяемое и совремнное, пусть и из ширпотребного сегмента. при этом иметь нормальную реданденси, мониторинг, начиная с подсчетов счетчиков на входящие данныне
да, пол петабайта за 10 секунд. да, таких запросов тысячи. так бигдата и работает. да, потому и сворачивают аналитику на рсубд, переводят на кластера хадупа. ты тупо не имеешь базовых представлений о hdfs и как с него кластер данные поднимает.
но это на бигдате, а тут почти все в память уместиться, при бюджете $15 млн, SSD просто простаивать будут.
какой машзал? в презенташке конфиг на бюджет в $100. там 16 ядер и 64 гб рам. понятно что с $15 млн нода будет порядка 60-70 ядер, 2 Тб рам и горы, огромные горы SSD. ширпотребный тредрипер это 72 ядра и 16 слотов памяти в 2U коробочке. вот и сравнивай.
к сожалению реально у тебя нет базовых знаний по теме. «нормальные системы» это рсубд, которые вынуждены использовать петабайты на индексы, что бы найти что либо за доли секунды. соответственно все что не в индексе — финиш. то что описано в презенташки — хадуп, он целиком партицию за эти пару секунд вычитывает, не то что цепочку, он что угодно просчитать может подняв данные со всей партиции. причем сторидж в презенташке менее чем за $100k гарантирует нормальное реданденси и дает эту скорость на механических HDD с крошечным 64гб кэшем. у нас речь идет о бюджете в $15 млн, т.е. горы SSD и почти весь архив в памяти. с таким бюджетом хадуп запросто брутфорсом будет успевать расшифровывать SSL трафик
за млрд рублей там петабайты памяти будут, какой-нить спарк весь архив в памяти мог бы держать, обеспечивая нормальное реданденси. собирать из протухших от старости американских запчастей примитивную коробку которая ничего не умеет, нет никакого смысла. вообще. ширпотреб 2-4Тб DDR4 ставить можно, куда там по скоростям коробченке с 96 дисками
у них задача хранить архив под закон яровой, а не снимать живой трафик. посмотрите как люди делают СОРМ-3, почти у всех архив в хадупе и понятно, что на хадупе нет у них там никаких индексов.
Additional exploits for other architectures are also known to exist. These include IBM System Z, POWER8 (Big Endian and Little Endian), and POWER9 (Little Endian).
Three security vulnerabilities that allow unauthorized users to bypass the hardware barrier between applications and kernel memory have been made public. These vulnerabilities all make use of speculative execution to perform side-channel information disclosure attacks. The first two vulnerabilities, CVE-2017-5753 and CVE-2017- 5715, are collectively known as Spectre
да, представляю. куда там шкафчику с 96 дисками до того, с чем я имею дело на хадупе каждый день? там нужна throughput, а не отклик. на 96 дисках это курам насмех за миллиард. плюс что эта куцая и примитивная коробка будет делать, когда придет запрос на инфу? лампочками мигать? нахера этот примитив, если закон требует не тупой HDD с лампочкой, а полноценную систему, которая запрошенную инфу отфильтровать сможет.
опять же, а что там с реданденси? все в одной стойке, без репликации? что за клоунада?
очередной попил или тупизна менеджмента?
даже если удастся закупить пару «отечественных» шкафов сегодня, уже понятно, что завтра power8 купить под санкциями уже не выйдет. зачем вообще собирать «ответственные» шкафы на сугубо американских и давно уже вымерших ibm архитектурах? почему бы не собрать стандартный для индустрии хадуп на обычном ширпотребе, у которого и возможности из другой вселенной и санкции нипочем.
и? как дело доходит до чертежа, становиться ясно, что выйдет такой же провал как у спейс икс — забрасываемый вес меньше союза, цена выше тяжелого протона. анагара-байкал вот не так давно выкинули, посчитав экономику.
«Общие затраты на пуск ракеты-носителя и транспортного грузового корабля составляют 2 млрд 589 млн руб. Из них матчасть, то есть ракета-носитель, обтекатель и грузовой корабль — 1 млрд 986 млн руб.», — заявил он.
и к чему эти передергивания? 3 места они не могли бы получить в принципе, зачем фантазировать? я сравниваю в одинаковых условиях, свой аппарат для своего агенства. разница чуть не в 4 раза, хотя дрэгон вроде как обещал снижение стоимости за счет возвращения ступений. на кой весь этот цирк с возвращением ступенями? роскосмос выходит был прав, не поверив в экономику возврата ступеней.
пруф в студию. на кой доставлять топливо к станции если не возможно залить в станцию?
опять же это станция тратит на дрэгон топливо, подхватывая «рукой», а прогресс из 60х тратит свое топливо и стыкуется сам.
хадуп в лоб становиться нужным, что бы не тратить $15 млн на устаревшие Power8 и механические HDD, а тратить на что-то вменяемое и совремнное, пусть и из ширпотребного сегмента. при этом иметь нормальную реданденси, мониторинг, начиная с подсчетов счетчиков на входящие данныне
но это на бигдате, а тут почти все в память уместиться, при бюджете $15 млн, SSD просто простаивать будут.
за млрд рублей там петабайты памяти будут, какой-нить спарк весь архив в памяти мог бы держать, обеспечивая нормальное реданденси. собирать из протухших от старости американских запчастей примитивную коробку которая ничего не умеет, нет никакого смысла. вообще. ширпотреб 2-4Тб DDR4 ставить можно, куда там по скоростям коробченке с 96 дисками
access.redhat.com/security/vulnerabilities/speculativeexecution
Three security vulnerabilities that allow unauthorized users to bypass the hardware barrier between applications and kernel memory have been made public. These vulnerabilities all make use of speculative execution to perform side-channel information disclosure attacks. The first two vulnerabilities, CVE-2017-5753 and CVE-2017- 5715, are collectively known as Spectre
www.ibm.com/blogs/psirt/potential-impact-processors-power-family
опять же, а что там с реданденси? все в одной стойке, без репликации? что за клоунада?
даже если удастся закупить пару «отечественных» шкафов сегодня, уже понятно, что завтра power8 купить под санкциями уже не выйдет. зачем вообще собирать «ответственные» шкафы на сугубо американских и давно уже вымерших ibm архитектурах? почему бы не собрать стандартный для индустрии хадуп на обычном ширпотребе, у которого и возможности из другой вселенной и санкции нипочем.
spacenews.com/spacex-wins-5-new-space-station-cargo-missions-in-nasa-contract-estimated-at-700-million
далее предлагаю убеждаться самому, яндекс в помощь.
2647 кг меньше 2666 кг, какие доставляет союз. при этом наса платит за пуск дрэгона $140 млн. сто сорок миллионов.
в итоге разница с протоном разы.
www.gazeta.ru/science/news/2015/04/29/n_7154561.shtml
опять же это станция тратит на дрэгон топливо, подхватывая «рукой», а прогресс из 60х тратит свое топливо и стыкуется сам.
ПЕРЕЧЕНЬ ГРУЗОВ, ДОСТАВЛЯЕМЫХ КОРАБЛЁМ «ПРОГРЕСС М-09М»
доставляемых, слово ключевое.