Особенности архитектуры распределённого хранилища в Dropbox

[Incognito4pda]

Много воды

[Shapelez]

Это чтобы вам не было сухо.

[nikitasius]

То бишь свои СХД получились дешевле чем спец цены от S3. Интересно, а glacier они используют?

[crazylh]

Я думаю ключевой фактор для них был избавиться от vendor lock, а не сделать дешевле.

[nikitasius]

Так переход на СХД это тот же самый вендор лок, ибо харды там меняют как минимум по контракту при использовании системы (dell или hp наприммер). Сомневаюсь, что они держат склад, хотя… может и держат, так как закупили в большом объеме.

[crazylh]

Судя по их архитектуре они не используют СХД.

Ну и автор прямо говорит:

Можно посмотреть на все это в другом измерении, с точки зрения производителя оборудования. Очень важно пользоваться разными производителями оборудования, разными прошивками, разными драйверами.

[navion]

Причем тут бренды? Они написали свою СХД в которой используют компоненты (диски, HBA, JBOD) от разных поставщиков для уменьшения рисков.

[3vi1_0n3]

Просто ради интереса. А зачем им использовать glacier, при запросе файлов с которого надо ждать несколько часов?

[Revertis]

У них свои сервера, с 50-ю винтами в каждом. Где-то они писали об этом.
И сначала они написали свою СХД на Go, он сильно тормозил из-за GC, переписали на Rust, теперь всё летает.

[M0sTH8]

Glacier не используется. Получилось дешевле чем S3.

[crea7or]

Backblaze точно так же свои СХД использует.

[kekekeks]

Связано ли отключение общедоступных папкок с переходом на эту новую чудо-архитектуру и Go? А то как-то по времени совпало с отказом от питона.

[M0sTH8]

В статье по вашей ссылке написано что прекратилась поддержка проекта Pyston. Отказа от питона нет никакого. Отключение общедоступных папок никак не связано с архитектурой.

[nile1]

Доступность — это сложное понятие и вычисляется для разных сервисов по-разному, но обычно это отношение количества выполненных запросов к общему количеству запросов, обычно описывается девятками: 999, 9999, 99999.

Разве? Обычно измеряется в процентах успешно обработанных запросов к их общему количеству — 99.9%, 99.99%, 99.999%, см. Википедию

[daregod]

Нет, скорее тут используется вероятностная мера, от нуля до единицы, и «ноль, запятая» в обиходе отбрасывается. Поэтому пять девяток: 0.99999 = 99.999%

[slayerhabr]

Правильно ли я понимаю, что любой файл меньше 4MB занимает 4MB?
Как расчитывается занятое место? По размерам файлов или по размеру блоков?

[M0sTH8]

Нет, блок занимает не больше 4мб.Меньше может быть.
Здесь более подробно можно узнать https://blogs.dropbox.com/tech/2016/05/inside-the-magic-pocket/

[Ualde]

Это очень крутой текст, спасибо! Читал с удовольствием.
Но, простите, что с русским языком?

[M0sTH8]

Спасибо. Этот текст — не статья, а расшифровка с видео записи.