Как AWS S3 обеспечивает скорость 1 петабайт в секунду при помощи медленных HDD

Все знают, что такое AWS S3, но немногие осознают масштабы, в которых он работает, и те усилия, которые понадобились, чтобы этого добиться.
По сути, это масштабируемый сервис многопользовательского хранилища с API для сохранения и извлечения объектов, обеспечивающий крайне высокую доступность1 и надёжность2 по относительно низкой цене3.
Масштабы
• 400+ триллионов4 объектов
• 150 миллионов запросов в секунду
• > 1 ПБ/с пикового трафика
• Десятки миллионов дисков
А что лежит в основе всего этого?
Жёсткие диски.
Способы достижения S3 таких масштабов — это настоящее инженерное чудо. Чтобы понять и оценить систему, нужно сначала оценить её базовый строительный блок — жёсткий диск.
Жёсткие диски (HDD) — это старая, уже выходящая из моды технология, во многом вытесненная SSDs. Жёсткие диски хрупки физически, ограничены по IOPS и имеют высокие задержки.
Однако благодаря им возможно то, на что пока неспособны флэш-диски: крайне дешёвая экономика хранения.

















