Мы продолжаем знакомство с современными сверхбольшими дата-центрами, начатое прошлой статьей, и сегодня поговорим о том, как решается одна из наиболее важных проблем — хранение данных. Кроме того, мы немного поговорим о ближайшем будущем таких мега-ЦОД.
Разумеется, система хранения данных не могла не стать узким местом для очень и очень многих применений мега-ЦОД. Несмотря на огромный прорыв в этой области, не всегда существующих решений достаточно для беспроблемного решения встающих задач. Сложно даже вообразить, какие объемы данных обрабатываются каждую секунду в дата-центрах Amazon, Google, Facebook и других компаний. Не только объемы данных и скорость их поступления составляют суть проблемы, в реальности стоит учитывать массу дополнительных проблем, начиная с сохранности данных и их защиты, и заканчивая юридическими требованиями по так называемому «удержанию данных» (data retention).
Практически без исключений, СХД больших дата-центров строятся по принципу прямого подключения хранилища (DAS): их проще приобрести (помните обсуждение важности оптимизации расходов в первой части статьи?), они дешевле в обслуживании, они обеспечивают лучшую пропускную способность по сравнению с решениями на основе NAS и SAN, не говоря уже о большей производительности. Иногда в системах хранения данных больших ЦОДов используются обычные потребительские диски и SSD с подключением SATA, все большее распространение приобретает Serial Attached SCSI, многие мигрируют на SAS, которая совместима с обычными SATA дисками, обладая также рядом неоспоримых преимуществ, как по скорости, так и по простоте управления. Также наблюдается процесс миграции на интерфейсы SAS, поддерживающие пропускную способность 12 Гбит/с.
Еще не так давно, основными показателями оценки систем хранения данных выступали количество операций в секунду (IOPS) и максимальная пропускная способность интерфейса, измеряемая в мегабайтах в секунду. Реалии работы мега-ЦОДов показали, что современные СХД, работающие на SSD часто достигают максимальной производительности ввода-вывода (часто до 200 000 IOPS) и скорость передачи данных перестает играть ключевую роль. На первый план выходит такой показатель, как задержка операций I/O, именно она оказывает ключевое влияние на важнейшие для ЦОДов такого размера показатели эффективности работы инфраструктуры, степени загрузки сервера и, разумеется, скорость работы приложений.
Главными способами оптимизации являются внедрение SSD, специальных плат для кэширования и комбинация этих двух вариантов.
В реальности, время задержки операций ввода-вывода для обычного жесткого диска составляет где-то 10 миллисекунд (0.01 секунды). В SSD задержка чтения составляет где-то 200 микросекунд, а записи — 100 микросекунд (0.0002 и 0.0001 секунды, соответственно). Специализированные PCIe карты (недавно мы описывали подобное решение LSI Nytro, на практике показывая его эффективность) могут обеспечить еще меньшую задержку, составляющую несколько десятков микросекунд.
При грамотном использовании SSD технологий, комбинируя разные решения для хранения данных, можно добиться среднего прироста от 4 до 10 раз, что в условиях мега-ЦОДов может вылиться в огромные суммы прибыли для владельца.
Корпоративные SAN-хранилища от внедрения разнообразных решений для кэширования выигрывают еще больше, поскольку кэш нивелирует влияние самой медленной части таких хранилищ — сетевой инфраструктуры. Современные карты оптимизации I/O могут хранить до нескольких террабайт «горячих» данных в своем кэше, таким образом часто в нем может поместиться целая БД, являющаяся критичной для работы приложения.
В корпоративных структурах, в отличии от мега-ЦОД, еще не всегда используют задержки ввода-вывода как один из основных критериев оценки СХД, опираясь больше на показатели IOPS и стоимости хранения одного гигабайта данных, противопоставляя традиционные жесткие диски SSD. В свою очередь, опыт построения современных сверхбольших ЦОДов показывает, что даже используя более дорогие SSD, можно получить в будущем более эффективную инфраструктуру, снизив затраты на ее поддержку и оптимизировав ее эффективность. По сравнению с HDD, современные SSD менее подвержены сбоям, проще в обслуживании и потребляют меньше электричества, что является весомым «бонусом» к их основным достоинствам: скорости и малым задержкам операций ввода-вывода, что позволяет обрабатывать больше данных на меньшем количестве серверов, экономя так же на контрактах на сервисное обслуживание и лицензиях на ПО.
Что же ждет мега-ЦОДы в будущем?
Первое место применения инноваций — это программное обеспечение. В некоторых случаях сверхбольшие дата-центры были пионерами использования решений, которые потом вошли в «повседневный быт» IT (если конечно это выражение тут применимо. В качестве примеров можно привести такие решения как Apache Cassandra, Google Dremel и, разумеется, Hadoop. Природа подобных приложений эволюционирует с огромной скоростью, часто речь идет не о годах, а о месяцах.
Сейчас мы можем наблюдать, как две весьма молодые технологии изменяют мир корпоративных ЦОДов, как в свое время Linux изменил рынок серверов вообще. OpenCompute — инициатива, направленная на создание открытой минималистичной и эффективной архитектуры вычислительных ЦОД. Предложенная Facebook в 2011 году, сейчас она переживает настоящий бум и может привести ко многим изменениям (например модели «открытого обслуживания» по принципу «открытого ПО»). Вторая инициатива — OpenStack уже сейчас является основой основ большинства программно- определяемых ЦОДов, за счет создания сетевой инфраструктуры и пула ресурсов обработки ресурсов, которыми можно управлять автоматически.
Так же в ближайшем будущем нас ждут решения для дезаггрегации серверов на уровне стойки: они позволят отделить все компоненты сервера (процессор, память, блок питания и т.д.) друг от друга, и управлять ими по-отдельности. Это позволит еще больше повысить эффективность использования «железа» в сверхбольших ДЦ.
Подводя итог, можно сказать что мега-ЦОДы живут на переднем краю инноваций, это именно та область IT, которую можно считать «первопроходцами» во многих областях, они прокладывают дорогу, по которой вскоре следует вся отрасль.
...to boldly go where no man has gone before!
