есть вопрос. а есть какие-то методы борьбы с меняющейся скоростью дисковой полки? я так понимаю скорость доступа к hdd это системная статистика, собирается в момент старта истанса, когда нагрузка на полку с других систем минимальна. а потом я наблюдаю печальку. оптимизатор выбирает нестед луп, рассчитывая на скорость простаивающей полки, а реально там в час пик скорость ниже плинтуса.
может есть какие-то методы борбы с этим?
ваш труд был напрасным и всем было бы лучше если бы ваше поколение не ходило бы на работу и не превратило бы гигантские ценные ресурсы в ведра с гайками, которые ни собрать урожай не могут ни накормить людей. вы выпускали по 500 тысяч тракторов, загоняя страну в яму и импорт зерна. вы просто проели будущее своих детей, оставив им долги и груду хлама.
нет, речь не о гугле и рекламе. этот инцидент лишь первый звоночек, после которого тот же чинуша уже не сможет сказать, что он не знал, что аноним такая редиска. теперь все понимают, что аноним ни за что не отвечает, ответственный чуниша.
мой пост на хабре модерируется, плюс у хабра есть юр лицо с ответственной персоной и всеми вытекающими. я могу разместить что-то на другом ресурсе, но вовсе не то же самое, что заманивание детишек приложением. точно так же как гос-во должно препятствовать создавать каким-то мутным личностям какие-либо детские бесплатные кружки. черт его знает чем этот мутный с детишками заниматься будет. хочешь заниматься с детишками, регистрируй все как полагается. с юр лицом, ответственной персоной, которая сядет, за шалости с детишками.
в инете должны быть те же правила. если кто-то работает с детишками, нужен контроль. синий кит это не игрушки. должна быть гарантия, что чувак со студенческой общаги не начнет слать «лишние» задания, не только по математике.
речь не о гугле и рекламе, речь о том что некий аноним, которого звать никак, шлет детишкам чего захочет без всякого контроля. а сидеть за его послания будет чиновник. понятно, что чиновник не хочет завтра проснуться в тюрьме, потому что вовремя не пресек анонима, который начал вместе с заданиями по математики рассылать задания «синего кита». отвечать за такое будет в первую очередь чинуша, который на вопрос «а кто вы такие?» может четко ответить. он тот кто будет сидеть.
раз сидеть будет чинуша, значит рубильник должен быть в руках у чинуши. пусть аноним делает все по взрослому — фирму, с ответственной персоной и весь трафик через прокси, который если что чинуша сможет вырубить.
юным рассказываю, это ребята у которых работа такая, контролировать и отвечать. пугаются они абсолютно верно. завтра этот студент начнет наркотой увлекаться и не только пиписьки но и рекламу драг диллеров рассылать. кто за это ответит? ДИТ или анонимный студент, который по определению ни за что не отвечает? он же просто ошибся.
p.s. без ДИТ инет так и развивается — 80% трафика порно, юнные и глупые они такие.
p.p.s нужно трафик к детям просто пускать через прокси, рубильник был у чиновника и когда (не если, а когда) анонимный студент подсядет на наркоту, была бы возможность вырубить приложение.
да, вокруг exp/imp нужны танцы с бубном, но никаких особенностей в этом плане на фоне других версий не было. начиная с 9.2.0.4 все работало стабильно относительно. у оракла много особенностей в R1 релизах, но те кто покупают rs/6000 об этом в курсе обычно.
оракл это не ibm, у него одна субд на всех платформах. база данных со всем pl/sql кодом переноситься банальным imp/exp
проблема может быть если там люди извращались с каким-нибудь PRO*COBOL, PRO*C…
Типичная задача — нужно отмигрировать что-то на тот же Huawei х86. Вообще, коммерческих архитектур, которые позволяют получать реально очень большие кластеры, хорошо подходящие для таких задач, всего три — это Супердом, кластер Фуджитсу и кластер Huawei.
сложно сказать что именно путает автор, потому что huawei вроде не делал никогда на платформе ia-64, а супердом всегда был ia-64 и только в последнее время стал обычным x86-64 (x64)
это одна платформа. Huawei x86 это обычный xeon, как у всех.
если код писали не совсем индусы, оно нормально будет бегать и на oracle rac, там есть нюансы у высоконагруженных систем с мульоном транзакций но это явно про то что товарищи меняют на виртуалки. что бы там ни было на rac оно будет много надежней и быстрее, чем на китайская дребедень в виртуалке на виртуалке.
ничего не понял. а чем отличается железячка x86 от x64? вроде 10 лет назад x64 именовали x86-64, подчеркивая что там и то и другое одновременно. и не понятно, что за проблема оракл в кластере масштабировать. oracle rac неплохо масштабируется.
понесет компания и руководитель, который дал добро выпустить не протестированную модель на дороги. в любом случае компьютер с «Торонто» много меньше поубивает, чем людская тупость.
1. spark streeming 2.1 даже сами разработчики все еще позиционируют как экспериментальный, банку не страшно? были ли уже свои тесты под нагрузкой?
2. входные данные AVRO, это json/avro, не paquet/avro? источники сами занимаются ETL в avro?
3. для доступа используете Hive и Spark, а Hive с которым движком? Nez, MR, может тоже Spark?
ну все таки в spark 2.х они выкатили совершенно другие api под стриминг и по хорошему надо именно на них надо тестировать. то что было в 1.6 у них не позиционируется как стриминг.
какой ужас. 300 тб данных, по 10 тб на сервере. т.е. 30, явно не односокетных серверов + 30 стенбаев, т.е. это лицензировать минимум 200+ ЕЕ ядер + standby option. это же многие сотни тысяч только за супорт в год.
яндекс реально не осознавал куда идет, запуская бесплатную почту на оракле?
по моему такое противопоказано рсубд с оптимизаторами, эта фигня дурит оптимизатор. у нас оракловый оптимизатор с ума сходил, он ночью собирал статистику и рассчитывает пробежать по индексам на SSD за 4 секунды, но эти блоки были вытеснены на HDD и реально вместо секунд 30 минут долбит HDD одноблочным…
вы почту держали на оракле EE и толком не пользовали его возможности. вы платили сумасшедшие деньги за EE standby, а он стоял без дела. ну согласитесь есть повод подозревать, что вы не совсем понимали сколько стоит EE и где преимущества оракла с его UNDO, блокировками в блоке данных, мегаоптимизатоаре и прочим не нужным почте грузом. все ваши конкуренты за долго до 2012 в hadoop облаках и с noSql.
опять же по своему опыту, если бы у вас были бы хардкорный ораклойды, они бы бились за оракл до последнего (как я) и вариант с SE1 edtion + partitioned view как минимум серьезно бы продемонстрировали бы.
в linux не знаю, знаю в windows они ReadFileScatter пользуют из win api. оно им мимо всяких кешей файлововой системы читает прямо в память. а у постгреса выходит еще и двойное кеширование, один раз кеширует файловая система второй раз постгесовский кеш.
может есть какие-то методы борбы с этим?
мой пост на хабре модерируется, плюс у хабра есть юр лицо с ответственной персоной и всеми вытекающими. я могу разместить что-то на другом ресурсе, но вовсе не то же самое, что заманивание детишек приложением. точно так же как гос-во должно препятствовать создавать каким-то мутным личностям какие-либо детские бесплатные кружки. черт его знает чем этот мутный с детишками заниматься будет. хочешь заниматься с детишками, регистрируй все как полагается. с юр лицом, ответственной персоной, которая сядет, за шалости с детишками.
в инете должны быть те же правила. если кто-то работает с детишками, нужен контроль. синий кит это не игрушки. должна быть гарантия, что чувак со студенческой общаги не начнет слать «лишние» задания, не только по математике.
раз сидеть будет чинуша, значит рубильник должен быть в руках у чинуши. пусть аноним делает все по взрослому — фирму, с ответственной персоной и весь трафик через прокси, который если что чинуша сможет вырубить.
p.s. без ДИТ инет так и развивается — 80% трафика порно, юнные и глупые они такие.
p.p.s нужно трафик к детям просто пускать через прокси, рубильник был у чиновника и когда (не если, а когда) анонимный студент подсядет на наркоту, была бы возможность вырубить приложение.
проблема может быть если там люди извращались с каким-нибудь PRO*COBOL, PRO*C…
сложно сказать что именно путает автор, потому что huawei вроде не делал никогда на платформе ia-64, а супердом всегда был ia-64 и только в последнее время стал обычным x86-64 (x64)
если код писали не совсем индусы, оно нормально будет бегать и на oracle rac, там есть нюансы у высоконагруженных систем с мульоном транзакций но это явно про то что товарищи меняют на виртуалки. что бы там ни было на rac оно будет много надежней и быстрее, чем на китайская дребедень в виртуалке на виртуалке.
2. входные данные AVRO, это json/avro, не paquet/avro? источники сами занимаются ETL в avro?
3. для доступа используете Hive и Spark, а Hive с которым движком? Nez, MR, может тоже Spark?
яндекс реально не осознавал куда идет, запуская бесплатную почту на оракле?
опять же по своему опыту, если бы у вас были бы хардкорный ораклойды, они бы бились за оракл до последнего (как я) и вариант с SE1 edtion + partitioned view как минимум серьезно бы продемонстрировали бы.