EvgeniyRasyuk Oct 11 at 05:54

Arc: Убийца ClickHouse на стероидах из DuckDB и Parquet? Разбираем новый движок для time-series

Easy

9 min

8.2K

Big Data * SQL *

Review

-1

Comments 19

mantyr Oct 11 at 06:28

Похоже очередная статья написанная GPT.

EvgeniyRasyuk Oct 11 at 08:43

да , это обзорная статья по новому продукту

kmatveev Oct 11 at 08:45

Ссылки с utm_source=chatgpt.com не дадут ошибиться

kmatveev Oct 11 at 08:40

Я глянул исходники, это ещё больший мутант, чем я думал. Оно написано на питоне. При получении msgpack-сообщения вызывается библиотечный msgpack-декодер, который превращает это в питоновский список питоновских словарей. А чтобы сохранить это на диск, используется Polars DataFrame, в который этот список словарей передаётся. Это точно можно делать эффективнее.

EvgeniyRasyuk Oct 11 at 08:55

https://habr.com/ru/articles/955560/

eigrad Oct 12 at 08:54

Две статьи под копирку, отрицательной технической ценности, и с unfair использованием бренда clickhouse.

ignacio-arc Oct 12 at 09:20

Hi, Ignacio here, Lead of Basekick Labs, Creators of Arc. Thanks for the feedback! You were right, we investigated and found optimization opportunities.

What we did:

• MessagePack streaming decoder (msgpack.Unpacker vs unpackb)

• Columnar Polars DataFrame construction

Results:

• Throughput: 1.95M → 2.01M RPS (+3.1%)

• Latency p95: 184ms → 147ms (-20.3%)

• Latency p99: 395ms → 317ms (-19.6%)

• Memory usage: -10-20%

The MessagePack endpoint already used Direct Arrow (zero-copy), but your comment helped us optimize both write paths.

Details: https://github.com/basekick-labs/arc/blob/main/docs/WRITE\_OPTIMIZATIONS.md

Open source works! 🚀

kmatveev Oct 12 at 10:06

Could you please share details on how you have measured these numbers? I mean cpu/ram configurations, how many python processes and connections? I'm sceptical that a single python process and single connection can get you millions of PRS.

ignacio-arc Oct 12 at 11:13

Yes. That info is on the repo, but I can tell you here. 42 workers in the server, and 400 workers in the client. Let me know if you have additional questions. With local storage, nvme, we reached 2.08m.

ignacio-arc Oct 12 at 11:17

CPU and Ram is also there, it’s a M3 Pro max. 14 cores, 36gb of RAM. CPU during those test at 85%.

akardapolov Oct 11 at 11:01

При нативном (native) запуске — до 1,89 млн записей/сек (MessagePack протокол)

Средний размер записи порядка 90 байт. В МБ скорость записи будет порядка 170 Мб/сек в несколько потоков (e.g., 14 cores = 42 workers).

{
  "m": "cpu",
  "t": 1728604800000,
  "h": "server01",
  "tags": {
    "region": "us-east",
    "dc": "aws"
  },
  "fields": {
    "usage_idle": 95.0,
    "usage_user": 3.2,
    "usage_system": 1.8
  }
}

thethee Oct 11 at 15:18

Короче не впечатляет. И где тут убийца ClickHouse...

yuriygavrilov Oct 17 at 05:32

Чего тут непонятного, Arc укусил клик в ногу, скоро яд подействую и клик умрет))

А Gigapi укусил во вторую ногу с datafusion) но там яд другой

Abbadosha Oct 12 at 10:51

Раньше оракл новыми поделиями убивали, теперь у убийц новая цель)

EvgeniyRasyuk Oct 12 at 12:09

в итоге Оракл потерял рынок аналититческих баз и дальше на него наступают

Abbadosha Oct 12 at 19:37

Эммммм, если бы не случилось строго определенных геополитических событий и весьма бурной на них реакции у некоторых компаний экзадату двигали бы ещё очень долго.

Так что да оракл канеш потерял рынок, но не из-за того что продукт у них плохой.

EvgeniyRasyuk Oct 12 at 19:58

ему никогда не догнать облачные аналитические базы - такие как SnowFlake

PavelKuptsov Oct 12 at 15:11

В прод я бы такое не взял, тем более на замену клику.

EvgeniyRasyuk Oct 12 at 17:58

это публичная Альфа