Pull to refresh
8
0
Daria Zhukova@cher3pashka

Разработчик программного обеспечения, YT, Yandex

Send message

Merger в YTsaurus: безболезненное укрупнение чанков в статических таблицах

Reading time7 min
Reach and readers1.3K

Статические таблицы нужны, чтобы хранить в них неизменяемые данные. Это означает, что данные, записанные в статическую таблицу, нельзя модифицировать в произвольном месте — их можно либо перезаписать полностью, либо дополнить, сделав запись в конец таблицы.

Основная боль при работе с такой таблицей возникает при росте количества хранимых в ней данных. Время чтения или записи возрастает пропорционально её объёму. Из‑за этого может настать момент, когда взаимодействовать с таблицей становится просто невозможно, и пользователям приходится придумывать ухищрения, чтобы справиться с этим.

В этой статье мы разберём механизм мёрджа чанков с помощью мастер‑серверов, который мы реализовали для статических таблиц YTsaurus — нашей платформы распределённого хранения и обработки больших данных с открытым исходным кодом.

Читать далее

Information

Rating
Does not participate
Registered
Activity

Specialization

Системный инженер, Разработчик баз данных
Младший
C++
Linux
Python