Посмотрите что происходит с КХ в режиме вставки около 1,5 млн/сек в реплицированные таблицы. Как раз верхняя граница буфера чуть больше 1 млн.
Не совсем понимаю, какую мысль вы хотите выразить? То что параметры по-умолчанию не оптимальны (или не подходят) для сценариев при вставке 1500К — это очевидно. Как в любом OpenSource для эксплуатации в "не ширпотребных" сценариях требуется донастраивать/докручивать продукт (досконально разобравшись в нём), либо покупать поддержку.
На всякий, для понимания — в ClickHouse, как во всех LSM есть проблемы с распределением "полосы пропускания" дисков между слиянием внутри LSM, обслуживанием репликации и чтением для обработки запросов. В своём приватном форке мы более-менее решили эту проблему, но только для нужного нам набора сценариев. А вот насколько эта проблема сейчас решена в upstream я не в курсе.
Термин-то устоялся, но "устояли" его маркетологи. Ну или "ушатали" — уж не знаю как точнее/корректнее.
Все эти термины (Wide Column, Column Oriented) подпорчены и размыты маркетологами, из-за этого и путаница. С точки зрения "как оно устроено" логично говорить "Wide Column Store" (key-value с "широким" JSON-like value) и "Multi-Column Store" (колонки хранятся отдельно, в разных файлах и т.п.).
В среднем по-больнице в Multi-Column Store обновления и удаления медленные (на 1-2-3 порядка) или вообще не поддерживаются (хотя есть отрезание данных пачками), зато намного быстрее (на 1-2-3 порядка) обрабатываются сложные запросы (структура хранения позволяет в разы меньше читать с диска).
За изобретения термина "Wide Column Store" я бы наказал, ибо "Column" здесь только путает и позволяет втюхивать "Wide Column Store" как "Column Store, плюс еще и Wide". Вместо "Wide Column Store" логичнее было-бы "Wide key-value" или "key-Value2d" — тогда всё встаёт на свое место.
Не хочу вступать в непродуктивный спор, ибо базы для разных целей. Но в отношении CH у вас всё-таки немного заниженное мнение:
CH предназначен на впитывание данных с одновременной обработкой запросов. В этом режиме одиночные вставки не имеют смысла. Рационально вставлять раз в секунду или по ~100К, а как-то сильно иначе — просто нагрев. CH реализует это очень хорошо и без лишних движений (делит данные на по-колоночные чанки и пушит в LSM).
"Плохие" сложные агрегации (и прочие кошмары) потребуют памяти в любой БД. "Спарки и хадупы" имеют те же проблемы (если промежуточный результат не влезет в память, то ой). Хотя и для "спарков" и для CH есть рецепты решения таких задач.
Что касается эффективности представления данных на диске, то CH хранит данные по-колоночно со сжатием — придумать что-либо эффективнее сложно. Т.е. в отличие от касанды и спарка, в CH значения, которые с большей вероятностью похожи/близки, в среднем хранятся "ближе" друг к другу и поэтому лучше сжимаются.
По скорости вставок Click не проигрывает, примерно совсем. Другое дело, что у него (и в любой append-oriended базе) эти вставки совсем другие.
Сложные запросы Click умеет быстро не "пока памяти хватает" (это не java), а потому что он более-менее оптимально умеет отображать сложный запрос в конвейер чтения и фильтрации чанков колонок с дисков, и всё это в кластере. У клика гораздо больше шансов существенно меньше читать с дисков, если это в принципе возможно для некого запроса. Соответственно, в сценариях для которых сделан клик, на сопоставимом оборудовании, у обсуждаемых БД кране мало шансов конкурировать.
Тем не менее, это сильно разные БД для принципиально разных сфер применения и сравнивать их — как теплое с мягким.
Использовав xorshift Dinisoid пальнул из пушки по воробьям и устроил пытки MSVC. Для подобной задачи хватило-бы простейшего миксера. Причем использование макросов, а не новомодных constexpr, доставило бы компилятору намного меньше мук ;)
Тем не менее, более-менее приличный ГПСЧ использованный подобным образом (без состояния, с инициализацией от натуральной последовательности) пройдет все упомянутые тесты, как и более-менее приличная хэш-функция.
Действие обоих травок обусловлено сложной цепочкой регуляторных реакций организма с вовлечением частей иммунной системы. Поэтому результат кардинально зависит не только от генотипа, но и от состояния микрофлоры кишечника. Из негативных реакций могут быть: тахикардия (вплоть до приступов и реанимации), головные боли, гипертония, повышение внутриглазного и внутричерепного давления, аллергия (весь букет)...
Буквально алкоголь блокирует взаимодействие нейронов (хотя и селективно).
Поэтому первичная расторможенность всегда сменяется угнетением ЦНС, сном, ступором и эмоциональной тупостью.
Соответственно, подобные "советы" военных врачей относятся к ситуациям экстремального стресса (близко к шоковому состоянию), скорее как средство "психической анестезии" (с препятствием образованию новых нейронных связей и формированию пост-комплектов). Такие "советы" нельзя трактовать как подобие универсальный рецепта и тем более цитировать вне контекста.
Военные в России были "выпивохами" в 90-х, когда огромное кол-во офицеров разом потеряло все перспективы. Сейчас конечно тоже иногда "бухают", но в разы меньше чем в среднем "по стране". В боеготовных частях распорядок и постоянный контроль исключает алкоголь. Однако, у среднего обывателя впечатление испорчено "прапорщиком задовым" и видом единичных "залетных".
В текущем научном понимании, способность переваривать/нейтрализовывать алкоголь эволюционно вырабатывалась при употреблении забродивших плодов. При этом (при естественном сбраживании) вырабатывается огромный букет соединений, многие из которых имеют высокие шансы быть триггерами для запуска выработки (или усиления выработки), многих (ко)ферментов участвующих в производстве и/или регуляции "основной пары", участвующей в метаболизме алкоголя.
Проще говоря, небольшие дозы соединений сопутствующих естественному сбраживанию, с высокой вероятностью могут (и видимо так и есть) стимулировать выработку в организме "защитных" ферментов. Как минимум, это подтверждено для части генетической популяции. В том числе, очень хорошо соотносится с наблюдаемыми "практическими феноменами". Например, задокументировано (увы, пруфы в кармане не ношу), что самогон (определенных сортов/способов) у части популяции приводит к меньшей интоксикации (в том числе меньшему похмелью и его похмелью), чем химически чистый ц2-аш5-оаш (в пересчете на чистое вещество, конечно).
Для естество испытателей — можно проверить утверждение, съев за 2-3 часа до "корпоратива" предварительно сброженный фрукт. Для "южных" генотипов эффект практически гарантирован (усиление выработки ферментов и более "легкое" похмелье), но не поможет если у вас "совсем северный" генотип (эвенки, чукчи и их потомки, киргизы).
Просравший все полимеры бизнес делает попытку урвать кусок у чужого, свершившегося рядом успеха.
По сути это достаточно распространённая история, совершенно не специфичная "для этой страны". От патентного троллинга отличается только механикой, не более. В данном случае тролль видимо опытный и организовал атаку с учетом специфики (подав заявление в формулировках вынуждающих полицию делать обыски и аресты). Отдельная "вишенка на торте" — заявление подано в отношении неопределенных третьих лиц, т.е. "просто так" не получиться подать встречный иск за клевету и моральный ущерб.
Через неделю-другой дело развалится, но "прогрессивная общественность" будет еще долго смаковать "10 правил бизнеса в этой стране" и считать исход результатом исключительно её "праведного гнева и осуждения".
Хуже если "эффективные менеджеры" сбера нашли в документах рамблера какую-то сраную бумажку, позволяющими выкатить Сысоеву такие претензии. Тогда "прогрессивная общественность" будет вечно клеймить страну и власть...
Тем не менее, надеюсь что Игорь действительно исходно прорабатывал вопрос и давно подготовился к защите. Держу за него пальцы, желаю не просто удачи, но и выйти из ситуации с полной победой.
релком тогда передал кому надо и куда надо критически важную информацию. Это был тот «телеграф», который забыли «взять» по недомыслию.
Карго-культ какой-то.
Ну не было там никакой "критической информации", вообще.
Релком тогда (и весь интернет еще 10 лет после) был неуловимым джо.
А путчисты сами слились, потому-что толком никакого плана не было, не умели и толком не знали что делать.
Если честно, то это примерно чушь, тем не менее вы вправе иметь и такое мнение.
Какой-то объем информации во время путча конечно передавался, но в принципе все телефонные линии и так работали, в том числе телеграф, междугородная и международная связь. Вовсе не хочу обидеть или задеть Бардина, но ни релком, ни демос никого особо не интересовали, и не оказали какого-либо заметного влияния (буквально капля в море).
Но так или иначе, это не имеет никакого отношения к наблюдаемой "прихватизации" и не даёт повода её оправдывать.
У Солдатова и Co не было никакого нормального бизнеса. Официально РосНИИРОС был некоммерческой организацией, учрежденной государством. Де-факто же РосНИИРОС "по щучьему велению и своему хотению" раздавал адреса аффилированным конторам, которые генерировали неплохие деньги примерно из воздуха. Т.е. весь "бизнес" основывался на том, что ребята вовремя под-суетились и от имени Государства получили LIR с адресами, а после эксплуатировали "право первой ночи".
Нельзя отрицать, что все участники способствовали развитию Сети и формированию инфраструктуры. Но в целом, IMHO, всё история с сильным душком, поскольку схемы в основе по-сути примерно коррупционные.
Сейчас же из-за дефицита стоимость ресурса стала немного "зашкаливать". Стало труднее объяснять факты благотворительности РосНИИРОС в отношении ряда коммерческих компаний. Закон Яровой тут стал триггером, ибо заставляет искать деньги, выяснять где генерируется прибыль и где оседает. Соответственно, "внезапно" возникает вопрос.
Поэтому "Солдатов и Co" вывели генерирующий актив из-под (потенциального) контроля государства в свою частную лавочку в другой юрисдикции. На месте прокуратуры я бы инициировал проверку по признакам "мошенничества в особо крупном размере" (порядка полумиллиарда рублей).
вообще отключения Secure boot, возможны конфликты по версиям пакетов.
Нет.
Достаточно просто добавить сгенерировать и добавить свои ключи, а затем подписывать ими модули KVM или VirtualBox.
Ноже самое с версиями пакетов — "из каробки" есть репозитории для всех актуальных версий всех популярных дистрибутивов и конфликтов при этом точно не возникает.
Не совсем понимаю, какую мысль вы хотите выразить? То что параметры по-умолчанию не оптимальны (или не подходят) для сценариев при вставке 1500К — это очевидно. Как в любом OpenSource для эксплуатации в "не ширпотребных" сценариях требуется донастраивать/докручивать продукт (досконально разобравшись в нём), либо покупать поддержку.
На всякий, для понимания — в ClickHouse, как во всех LSM есть проблемы с распределением "полосы пропускания" дисков между слиянием внутри LSM, обслуживанием репликации и чтением для обработки запросов. В своём приватном форке мы более-менее решили эту проблему, но только для нужного нам набора сценариев. А вот насколько эта проблема сейчас решена в upstream я не в курсе.
Термин-то устоялся, но "устояли" его маркетологи. Ну или "ушатали" — уж не знаю как точнее/корректнее.
Все эти термины (Wide Column, Column Oriented) подпорчены и размыты маркетологами, из-за этого и путаница. С точки зрения "как оно устроено" логично говорить "Wide Column Store" (key-value с "широким" JSON-like value) и "Multi-Column Store" (колонки хранятся отдельно, в разных файлах и т.п.).
В среднем по-больнице в Multi-Column Store обновления и удаления медленные (на 1-2-3 порядка) или вообще не поддерживаются (хотя есть отрезание данных пачками), зато намного быстрее (на 1-2-3 порядка) обрабатываются сложные запросы (структура хранения позволяет в разы меньше читать с диска).
За изобретения термина "Wide Column Store" я бы наказал, ибо "Column" здесь только путает и позволяет втюхивать "Wide Column Store" как "Column Store, плюс еще и Wide". Вместо "Wide Column Store" логичнее было-бы "Wide key-value" или "key-Value2d" — тогда всё встаёт на свое место.
Не хочу вступать в непродуктивный спор, ибо базы для разных целей. Но в отношении CH у вас всё-таки немного заниженное мнение:
CH предназначен на впитывание данных с одновременной обработкой запросов. В этом режиме одиночные вставки не имеют смысла. Рационально вставлять раз в секунду или по ~100К, а как-то сильно иначе — просто нагрев. CH реализует это очень хорошо и без лишних движений (делит данные на по-колоночные чанки и пушит в LSM).
"Плохие" сложные агрегации (и прочие кошмары) потребуют памяти в любой БД. "Спарки и хадупы" имеют те же проблемы (если промежуточный результат не влезет в память, то ой). Хотя и для "спарков" и для CH есть рецепты решения таких задач.
Что касается эффективности представления данных на диске, то CH хранит данные по-колоночно со сжатием — придумать что-либо эффективнее сложно. Т.е. в отличие от касанды и спарка, в CH значения, которые с большей вероятностью похожи/близки, в среднем хранятся "ближе" друг к другу и поэтому лучше сжимаются.
По скорости вставок Click не проигрывает, примерно совсем. Другое дело, что у него (и в любой append-oriended базе) эти вставки совсем другие.
Сложные запросы Click умеет быстро не "пока памяти хватает" (это не java), а потому что он более-менее оптимально умеет отображать сложный запрос в конвейер чтения и фильтрации чанков колонок с дисков, и всё это в кластере. У клика гораздо больше шансов существенно меньше читать с дисков, если это в принципе возможно для некого запроса. Соответственно, в сценариях для которых сделан клик, на сопоставимом оборудовании, у обсуждаемых БД кране мало шансов конкурировать.
Тем не менее, это сильно разные БД для принципиально разных сфер применения и сравнивать их — как теплое с мягким.
Если что-либо (питон, яву) ускорить до Си, то получается Си ;)
Конечно небесполезно знать кто из "динозавров" большие греет атмосферу. Но может всё-таки ScyllaDB вместо Cassandra?
Ситуация несколько "заманчивее". В этом бэкдоре нашлись дыры.
По этой теме на Хабре было несколько статей от PositiveTechnologies.
Использовав xorshift Dinisoid пальнул из пушки по воробьям и устроил пытки MSVC. Для подобной задачи хватило-бы простейшего миксера. Причем использование макросов, а не новомодных constexpr, доставило бы компилятору намного меньше мук ;)
Тем не менее, более-менее приличный ГПСЧ использованный подобным образом (без состояния, с инициализацией от натуральной последовательности) пройдет все упомянутые тесты, как и более-менее приличная хэш-функция.
Действие обоих травок обусловлено сложной цепочкой регуляторных реакций организма с вовлечением частей иммунной системы. Поэтому результат кардинально зависит не только от генотипа, но и от состояния микрофлоры кишечника. Из негативных реакций могут быть: тахикардия (вплоть до приступов и реанимации), головные боли, гипертония, повышение внутриглазного и внутричерепного давления, аллергия (весь букет)...
Короче, начала попробовать, с осторожностью...
Вы сильно ерундите во второй части.
Буквально алкоголь блокирует взаимодействие нейронов (хотя и селективно).
Поэтому первичная расторможенность всегда сменяется угнетением ЦНС, сном, ступором и эмоциональной тупостью.
Соответственно, подобные "советы" военных врачей относятся к ситуациям экстремального стресса (близко к шоковому состоянию), скорее как средство "психической анестезии" (с препятствием образованию новых нейронных связей и формированию пост-комплектов). Такие "советы" нельзя трактовать как подобие универсальный рецепта и тем более цитировать вне контекста.
Военные в России были "выпивохами" в 90-х, когда огромное кол-во офицеров разом потеряло все перспективы. Сейчас конечно тоже иногда "бухают", но в разы меньше чем в среднем "по стране". В боеготовных частях распорядок и постоянный контроль исключает алкоголь. Однако, у среднего обывателя впечатление испорчено "прапорщиком задовым" и видом единичных "залетных".
Предыдущий комментарий ближе к истине.
В текущем научном понимании, способность переваривать/нейтрализовывать алкоголь эволюционно вырабатывалась при употреблении забродивших плодов. При этом (при естественном сбраживании) вырабатывается огромный букет соединений, многие из которых имеют высокие шансы быть триггерами для запуска выработки (или усиления выработки), многих (ко)ферментов участвующих в производстве и/или регуляции "основной пары", участвующей в метаболизме алкоголя.
Проще говоря, небольшие дозы соединений сопутствующих естественному сбраживанию, с высокой вероятностью могут (и видимо так и есть) стимулировать выработку в организме "защитных" ферментов. Как минимум, это подтверждено для части генетической популяции. В том числе, очень хорошо соотносится с наблюдаемыми "практическими феноменами". Например, задокументировано (увы, пруфы в кармане не ношу), что самогон (определенных сортов/способов) у части популяции приводит к меньшей интоксикации (в том числе меньшему похмелью и его похмелью), чем химически чистый ц2-аш5-оаш (в пересчете на чистое вещество, конечно).
Для естество испытателей — можно проверить утверждение, съев за 2-3 часа до "корпоратива" предварительно сброженный фрукт. Для "южных" генотипов эффект практически гарантирован (усиление выработки ферментов и более "легкое" похмелье), но не поможет если у вас "совсем северный" генотип (эвенки, чукчи и их потомки, киргизы).
https://www.seattletimes.com/business/boeing-aerospace/failed-certification-faa-missed-safety-issues-in-the-737-max-system-implicated-in-the-lion-air-crash/
Что-то Rambler Group пошла в какой-то загул поиска дна коммерческой "эффективности".
Просравший все полимеры бизнес делает попытку урвать кусок у чужого, свершившегося рядом успеха.
По сути это достаточно распространённая история, совершенно не специфичная "для этой страны". От патентного троллинга отличается только механикой, не более. В данном случае тролль видимо опытный и организовал атаку с учетом специфики (подав заявление в формулировках вынуждающих полицию делать обыски и аресты). Отдельная "вишенка на торте" — заявление подано в отношении неопределенных третьих лиц, т.е. "просто так" не получиться подать встречный иск за клевету и моральный ущерб.
Через неделю-другой дело развалится, но "прогрессивная общественность" будет еще долго смаковать "10 правил бизнеса в этой стране" и считать исход результатом исключительно её "праведного гнева и осуждения".
Хуже если "эффективные менеджеры" сбера нашли в документах рамблера какую-то сраную бумажку, позволяющими выкатить Сысоеву такие претензии. Тогда "прогрессивная общественность" будет вечно клеймить страну и власть...
Тем не менее, надеюсь что Игорь действительно исходно прорабатывал вопрос и давно подготовился к защите. Держу за него пальцы, желаю не просто удачи, но и выйти из ситуации с полной победой.
Карго-культ какой-то.
Ну не было там никакой "критической информации", вообще.
Релком тогда (и весь интернет еще 10 лет после) был неуловимым джо.
А путчисты сами слились, потому-что толком никакого плана не было, не умели и толком не знали что делать.
Если честно, то это примерно чушь, тем не менее вы вправе иметь и такое мнение.
Какой-то объем информации во время путча конечно передавался, но в принципе все телефонные линии и так работали, в том числе телеграф, междугородная и международная связь. Вовсе не хочу обидеть или задеть Бардина, но ни релком, ни демос никого особо не интересовали, и не оказали какого-либо заметного влияния (буквально капля в море).
Но так или иначе, это не имеет никакого отношения к наблюдаемой "прихватизации" и не даёт повода её оправдывать.
"Приватизация" по правилам 90-х, проще говоря воровство государственных активов.
У Солдатова и Co не было никакого нормального бизнеса. Официально РосНИИРОС был некоммерческой организацией, учрежденной государством. Де-факто же РосНИИРОС "по щучьему велению и своему хотению" раздавал адреса аффилированным конторам, которые генерировали неплохие деньги примерно из воздуха. Т.е. весь "бизнес" основывался на том, что ребята вовремя под-суетились и от имени Государства получили LIR с адресами, а после эксплуатировали "право первой ночи".
Нельзя отрицать, что все участники способствовали развитию Сети и формированию инфраструктуры. Но в целом, IMHO, всё история с сильным душком, поскольку схемы в основе по-сути примерно коррупционные.
Сейчас же из-за дефицита стоимость ресурса стала немного "зашкаливать". Стало труднее объяснять факты благотворительности РосНИИРОС в отношении ряда коммерческих компаний. Закон Яровой тут стал триггером, ибо заставляет искать деньги, выяснять где генерируется прибыль и где оседает. Соответственно, "внезапно" возникает вопрос.
Поэтому "Солдатов и Co" вывели генерирующий актив из-под (потенциального) контроля государства в свою частную лавочку в другой юрисдикции. На месте прокуратуры я бы инициировал проверку по признакам "мошенничества в особо крупном размере" (порядка полумиллиарда рублей).
Я предлагаю не распространять неверную информацию "требует… или вообще отключения Secure boot, возможны конфликты по версиям пакетов".
Вовсе не хочется обвинять автора, он просто неопытен и набил шишек. Но распространять такой нечаянный FUD не следует.
Нет.
Достаточно просто добавить сгенерировать и добавить свои ключи, а затем подписывать ими модули KVM или VirtualBox.
Ноже самое с версиями пакетов — "из каробки" есть репозитории для всех актуальных версий всех популярных дистрибутивов и конфликтов при этом точно не возникает.