ClickHouse насколько мне известно показывает потрясающую производительность, однако у неё нет апдейтов — это ее принципиальное ограничение, к сожалению…
Насчет батчей, тут много зависит от задач и окружения. Например, у нас есть продукты, которые работают с кафкой. Соответственно они вытягивают данные через poll, небольшими батчами (порядка сотни сообщений), это естественным образом приводит к тому, что и обращения к HB выполняются так же батчем, что в разы быстрее, чем поштучно.
На всякий случай пробовал выключить батчи и делать запросы поштучно, но получается в разы медленнее. В частности первый тест на запись вместо 137 тыс. ops показал 54. Аналогично на чтение, вместо 159 стало 56. Но это не значит что CS работает плохо, HB в этой ситуации будет вести себя аналогично.
>>как в сбербанке искали способ не работать c Cassandra
Это не так) Никто не просил тестировать CS, это была чисто наша инициатива для удовлетворения собственного любопытства. И статья на хабр, как отличный способ привлечь грамотных специалистов, например таких как вы, для того чтобы обменяться опытом)
1. — попробуем G1 для CS, результат отпишу. Я пробовал указывать его для HB, но было хуже, однако вполне возможно, что так как HBase по-другому использует память то, для него G1 не дает такого эффекта как для CS.
2. — обязательно прогоним на рекомендованных параметрах. Учитывая, что HB меньше утилизирует диски это может для него не важно, но критично для CS.
3. — ну ssd нет, тут ничего не сделать.
4. — был бы признателен за ссылку на прирост производительности за счет XFS, чтобы понимать соотношение: усилия/польза.
5. — давно была идея проверить как h/t сказывается на производительности всего нашего софта, так что скорее всего так же проверим.
6. Насколько я понимаю у нас все разлеглось по многим дискам:
58M /data1/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
58M /data2/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
…
58M /data8/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
>>В заключении, у меня было 3 ноды cassandra, кейс гораздо более сложный, была запись по 300к/с
Спасибо за весьма детальную информацию, очень хорошо, когда есть ориентир. Получается, что аппроксимируя 300 к/с для 3х нод на четыре ноды, то это порядка 400 к/с. Т.е. практически совпадает с HB, однако как вы пишите, что диски при этом полностью нагружены. Таким образом, при прочих равных, другие операции с дисками будут выполняться гораздо медленнее, что для нас очень важно, так как в ПРОМ рядом крутится много другого софта.
Спасибо за интерес к теме! Во что именно упирается не очевидно. Утилизация приведена на картинке в посте. При этом нужно иметь в виду, что нагрузка на диски бывает разная. Так как тут пишутся WAL (журналы транзакций), то они часто дергают sync, что замедляет запись. Насчет количества потоков, попробовал удвоить. Ниже результаты первых четырех тестов на запись:
Получается что Кассандра вполне так себе загружена, удвоение потоков прироста скорости не дает.
>>key_cache_size_in_mb — задайте несколько гигов
Попробовал 4 Гб, тесты на чтение:
Без кэша С кэшом
159 644 153 513
167 698 164 248
134 419 131 751
139 592 141 571
>>И 8 дисков, для данного теста, Кассандре не нужны, она свалит все на один
Не вполне понятно, что имеется в виду. Похоже что данные распределились равномерно по всем дискам:
58M /data1/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
58M /data2/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
…
58M /data8/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
>>Писать с CL=ALL, это еще можно понять, но читать смысла нет, достаточно LOCAL_QUORUM.
Совершенно верно, чтение во всех тестах осуществлялось CL=ONE
Спор с вами сводится не к выяснению практических аспектов по существу, а к тому, кто в какой форме сказал и что подразумевали третьи лица.
Я вижу вы очень эрудированный человек и лучше многих понимаете суть КМ. У меня к вам большая просьба, вместо пространственных дискуссий с таким неучем как я, напишите свою, правильную статью где все будет безупречно сформулировано и дайте ссылку пожалуйста. С удовольствием подчерпну из этой кладези знаний.
Передергивание #1
>>Точный результат предсказать нельзя, но можно оценить вероятности. А в вашей формулировке получается, что результат вообще всегда случайный.
В моей формулировке ничего не было про «всегда случайный»
Передергивание #2
>>одинаковые оси измерения подразумеваются
В исходном тексте слова «одинаковые» нет. Подразумеваются они вами, и вы делаете вид будто ваши интерпретации обязательны для всех.
Вы не поверите, но у меня есть право отвечать на воюпрос так, как понимаю его я и если в нем слова «одинаковый» нет, то уж будьте любезны, не диктуйте свои проекции, пожалуйста.
К сожалению коммуникация в смысле передачи информации через этот механизм невозможна. Это кажется странным, но изменение состояний запутанных пар не дает возможность сообщить что-то)
>>В смысле додумал?
В прямом) Ни в исходном посте, ни в моем ответе ничего не было про одинаковую ось. Квантовые эффекты есть и при разных осях. Собственно в этом вся суть и об этом подробно написано в посте)
>>Что значит «37»?
37 это число. Зная что величины коррелируют вы не смогли назвать пару. Что и требовалось доказать)
>> У нас есть 2 варианта — спин вверх и спин вниз
Да пожалуйста, допустим коэффициент корреляции 0.9, выпало число 1 (возможный диапазон от 0 до 1). Вопрос, какое второе число?;)
>>Когда ось измерения одинаковая
Мы ходим уже по четвертому кругу, вы упорно пишите про одинаковую ось, но ни в исходном посте, ни в моем ответе ничего не было про одинаковую ось. Признайте уже что ошиблись да спокойно разойдемся)
Концептуально верно, однако виртуальный спин был и без этого понятия нельзя выполнить расчеты и показать откуда противоречие классической физике. Однако загромождать текст описанием виртуальности, деталью ничего не дающей, но вызывающей новые вопросы, мне кажется излишним.
>>У вас написано в абсолютной форме «вы не узнаете результат», независимо от процента совпадения.
Потому что вы не узнаете)) Простой пример, допустим коэффициент корреляции 0.9, выпало число 37 (возможный диапазон от 0 до 100). Вопрос, какое второе число?;)
Я приводил это как доказательство что результаты у запутанных частиц могут не совпадать, когда их измеряют в разных направлениях. Про одинаковую ось как мы уже выяснили вы сами додумали)
>>Утверждение «Квантовая механика утверждает и доказывает, что измерив одну частицу вы не узнаете результат измерения другой частицы в случае, когда корреляция есть» неверно.
Оно верно. Вы возможно просто не знаете значение термина «корреляция». Корреляция не только 100% совпадение, но когда значения например в 1 случае из 3х совпадают. Так что глядя на значение одного электрона, мы не знаете точно значение другого. Так как у них корреляция есть, но она меньше 1, то большей частью результаты будут отличаться.
>>Утверждение «В этом собственно вся суть и именно поэтому она не укладывается в головах» тоже неверно.
Ой, ну давайте вы еще про укладывание ангелов на булавочной головке напишите. Что там укалывается вашей голове только вам и известно. А про чужие вы понятия не имеете, так что оставим.
>>Утверждение «Потому что измеряя одну частицу мы мгновенно меняем состояние другой» верно лишь условно потому что так оно выглядит снаружи, но физически невозможно из-за ограничения скорости света, а значит работает как-то по-другому
Вы не можете утверждать, что знаете, какая автором «корреляция» имелась в виду. Корреляция имеет место и не при одинаковых значениях оси и рассчитывается таким образом:
Теперь признаете, что были неправы? Или скажете что только вы знаете что автор изначального высказывания имел в виду и только ваша интерпретация его слов единственно верная?)
На всякий случай пробовал выключить батчи и делать запросы поштучно, но получается в разы медленнее. В частности первый тест на запись вместо 137 тыс. ops показал 54. Аналогично на чтение, вместо 159 стало 56. Но это не значит что CS работает плохо, HB в этой ситуации будет вести себя аналогично.
>>как в сбербанке искали способ не работать c Cassandra
Это не так) Никто не просил тестировать CS, это была чисто наша инициатива для удовлетворения собственного любопытства. И статья на хабр, как отличный способ привлечь грамотных специалистов, например таких как вы, для того чтобы обменяться опытом)
1. — попробуем G1 для CS, результат отпишу. Я пробовал указывать его для HB, но было хуже, однако вполне возможно, что так как HBase по-другому использует память то, для него G1 не дает такого эффекта как для CS.
2. — обязательно прогоним на рекомендованных параметрах. Учитывая, что HB меньше утилизирует диски это может для него не важно, но критично для CS.
3. — ну ssd нет, тут ничего не сделать.
4. — был бы признателен за ссылку на прирост производительности за счет XFS, чтобы понимать соотношение: усилия/польза.
5. — давно была идея проверить как h/t сказывается на производительности всего нашего софта, так что скорее всего так же проверим.
6. Насколько я понимаю у нас все разлеглось по многим дискам:
58M /data1/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
58M /data2/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
…
58M /data8/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
>>В заключении, у меня было 3 ноды cassandra, кейс гораздо более сложный, была запись по 300к/с
Спасибо за весьма детальную информацию, очень хорошо, когда есть ориентир. Получается, что аппроксимируя 300 к/с для 3х нод на четыре ноды, то это порядка 400 к/с. Т.е. практически совпадает с HB, однако как вы пишите, что диски при этом полностью нагружены. Таким образом, при прочих равных, другие операции с дисками будут выполняться гораздо медленнее, что для нас очень важно, так как в ПРОМ рядом крутится много другого софта.
5 потоков (op/sec) -> 10 потоков (op/sec)
137 194 -> 116 983
136 250 -> 114 127
126 346 -> 111 881
119 544 -> 122 323
Получается что Кассандра вполне так себе загружена, удвоение потоков прироста скорости не дает.
>>key_cache_size_in_mb — задайте несколько гигов
Попробовал 4 Гб, тесты на чтение:
Без кэша С кэшом
159 644 153 513
167 698 164 248
134 419 131 751
139 592 141 571
>>И 8 дисков, для данного теста, Кассандре не нужны, она свалит все на один
Не вполне понятно, что имеется в виду. Похоже что данные распределились равномерно по всем дискам:
58M /data1/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
58M /data2/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
…
58M /data8/cassandra/ks/t1-3d82bd70385711eab7c4ed6d0a140d16
>>Писать с CL=ALL, это еще можно понять, но читать смысла нет, достаточно LOCAL_QUORUM.
Совершенно верно, чтение во всех тестах осуществлялось CL=ONE
Спор с вами сводится не к выяснению практических аспектов по существу, а к тому, кто в какой форме сказал и что подразумевали третьи лица.
Я вижу вы очень эрудированный человек и лучше многих понимаете суть КМ. У меня к вам большая просьба, вместо пространственных дискуссий с таким неучем как я, напишите свою, правильную статью где все будет безупречно сформулировано и дайте ссылку пожалуйста. С удовольствием подчерпну из этой кладези знаний.
>>Точный результат предсказать нельзя, но можно оценить вероятности. А в вашей формулировке получается, что результат вообще всегда случайный.
В моей формулировке ничего не было про «всегда случайный»
Передергивание #2
>>одинаковые оси измерения подразумеваются
В исходном тексте слова «одинаковые» нет. Подразумеваются они вами, и вы делаете вид будто ваши интерпретации обязательны для всех.
Вы не поверите, но у меня есть право отвечать на воюпрос так, как понимаю его я и если в нем слова «одинаковый» нет, то уж будьте любезны, не диктуйте свои проекции, пожалуйста.
В прямом) Ни в исходном посте, ни в моем ответе ничего не было про одинаковую ось. Квантовые эффекты есть и при разных осях. Собственно в этом вся суть и об этом подробно написано в посте)
37 это число. Зная что величины коррелируют вы не смогли назвать пару. Что и требовалось доказать)
>> У нас есть 2 варианта — спин вверх и спин вниз
Да пожалуйста, допустим коэффициент корреляции 0.9, выпало число 1 (возможный диапазон от 0 до 1). Вопрос, какое второе число?;)
>>Когда ось измерения одинаковая
Мы ходим уже по четвертому кругу, вы упорно пишите про одинаковую ось, но ни в исходном посте, ни в моем ответе ничего не было про одинаковую ось. Признайте уже что ошиблись да спокойно разойдемся)
Потому что вы не узнаете)) Простой пример, допустим коэффициент корреляции 0.9, выпало число 37 (возможный диапазон от 0 до 100). Вопрос, какое второе число?;)
Оно верно. Вы возможно просто не знаете значение термина «корреляция». Корреляция не только 100% совпадение, но когда значения например в 1 случае из 3х совпадают. Так что глядя на значение одного электрона, мы не знаете точно значение другого. Так как у них корреляция есть, но она меньше 1, то большей частью результаты будут отличаться.
>>Утверждение «В этом собственно вся суть и именно поэтому она не укладывается в головах» тоже неверно.
Ой, ну давайте вы еще про укладывание ангелов на булавочной головке напишите. Что там укалывается вашей голове только вам и известно. А про чужие вы понятия не имеете, так что оставим.
>>Утверждение «Потому что измеряя одну частицу мы мгновенно меняем состояние другой» верно лишь условно потому что так оно выглядит снаружи, но физически невозможно из-за ограничения скорости света, а значит работает как-то по-другому
Как оно работает мы понятия не имеем, но никакого ограничения СТО на это не накладывает, так как передачи информации не происходит:
«Сегодня ЭПР парадокс не считается парадоксом, так как в эксперименте информация не путешествует быстрее скорости света»
neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%9F%D0%A0_%D0%BF%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81
KC = P(совп) – P(разн)
www.eslitak.com/index/0-5
Теперь признаете, что были неправы? Или скажете что только вы знаете что автор изначального высказывания имел в виду и только ваша интерпретация его слов единственно верная?)