Подводные камни в Project Voldemort

[tripiz]

Redis наверное получше будет.

[deniszh]

Как Redis-cluster доделают — получше. А так не совсем одинаковые категории — вольдеморт логко масштабируется на N кластеров с прогнозируемой избыточностью. Правда не бесплатно — за счет усложнения протокола.

[tripiz]

Ну, да про кластеризацию Redis'а я только по-наслышке, а не предметно. Думал у них там с этим все «на мази» уже давно.

[tripiz]

Раз replication под разными углами вроде как заявлен в документации и давненько.

[deniszh]

Репликация != кластеризация. В Редисе сейчас есть просто мастер-слейв репликация, в Вольдеморте же нет мастер серверов или слейвов — можно легко добавить/удалить хост в кластер (правда, с последующим перераспределением части данных).
Придется наверно про него статейку то набросать — оказывается мало кто в курсе что это за зверь. :)

[pahaz]

В данном контексте лучше будет использовать термин шардирование. Соответственно — репликация != шардирование.

[deniszh]

Ну, 2 года уже прошло. Редис кластер уже вышел, про Волдеморт все кроме Линкедина благополучно забыли, Риак тоже развивается не шатко не валко, но Кассандру допилили до весьма бодрого состояния… Неисповедимы пути.

[dohque]

Спасибо! Отличная статья! Взял на заметку проблему.
Скорее всего все происходит потому, что Voldemort пердполагает немного другое использование, судя по архитектуре LinkedIn. Они используют для больших объемов сформированные на хадупе ридонли стораджи. У себя я собираюсь в беркли хранить только промежуточную информацию (за 5-10-60 мин), а потом объединять ее на хадупе с остальной информацией и совершать следующую итерацию пересчета.

[doom369]

Я немного запоздал. Но… Вы еще используете Волдеморт? Я провел серию тестов, так как Водеморт перестал нас устраивать с выросшей нагрузкой. И могу сказать, что Волдеморт уступает Редису на порядок. И этот порядок около 5-6 раз… Начиная от req/sec заканчивая дисковой памятью. Мало того, Волдеморт при максимальной нагрузке начинает сбоить и сбрасывать конекшены, приходится переподключатся. А как у Вас обстоят дела? Какова нагрузка у вас и на каких серверах?

[deniszh]

На новом месте работы Волдеморт не используем. :)
Но имхо Redis немного из другой оперы — Волдеморт все таки Amazon Dynamo-based — его «родственники» Cassandra и Riak (причем Cassandra гораздо более распространена, а Riak имхо гораздо симпатичнее).
Похоже Волдеморт умеют настраивать только в Линкедине. :)
Вообще вот полезная ссылка — kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis
Был бы у меня еще Волдеморт — я бы мигрировал на Riak как можно быстрее.

[doom369]

Но имхо Redis немного из другой оперы

Потому что не на яве? Имхо если нужно ключ-хранилище, то это не играет никакой роли.

Похоже Волдеморт умеют настраивать только в Линкедине. :)

Я его уже как угодно настраивал. Ничего не помогает.

Cassandra

По кассандре слышал лишь плохие отзывы по перформансу.

Да, похоже надо будет еще потестить другие решения.

[deniszh]

Потому что не на яве? Имхо если нужно ключ-хранилище, то это не играет никакой роли.

Нет, потому что Amazon Dynamo based — ring, hinted handoff и проч. Они все похожи — волдеморт, кассандра и риак.
А про «никакой роли» — совершенно не согласен, я не даром давал ссылку выше.
Redis — супербыстрое но memory based KV с простым текстовым протоколом, только мастер-слейв репликация (кластер еще сырой), типичное применение — быстро меняюшиеся «небольшие» обьемы данных.
Voldemort как и Cassandra — thrift/binary протокол, скорость не играет особого значения, зато multi-master и может хранить гораздо бОльшие обьемы данных (в памяти должны быть только индексы)
Хотя щас мой фаворит Riak — «If you want something Dynamo-like data storage, but no way you're gonna deal with the bloat and complexity», которым ( bloat and complexity) как раз страдает и Волдеморт и Кассандра.
От Кассандры у меня тоже впечатления весьма негативные, в т.ч. и в продакшене.