По прогнозам IDC, к 2025 году общий объем данных, хранящихся в организациях здравоохранения, вырастет до 2,3 зеттабайт, причем на долю различных медицинских снимков будет приходиться до 80-90% используемой емкости систем хранения. О том, насколько важно эффективное хранение медицинских снимков, говорит следующий пример.
В отделении диагностики одной из больниц в городе Тусон (штат Аризона) для анализов маммографии (диагностики рака женской молочной железы на основе рентгеновских снимков, ультразвукового обследования и МРТ) за один рабочий день выполняется до 40 рентгеновских снимков, два-четыре снимка – с помощью МРТ, а также два-пять – биопсии. В 80% случаев для интерпретации результатов маммографии используются старые снимки пациента, полученные два года назад и ранее, а в сложных случаях могут понадобиться снимки, сделанные 10 лет назад. Для быстрого извлечения старых снимков из архива используется цифровая больничная система PACS (Picture Archiving And Communication System).
Использование старых снимков, хранящихся в PACS, существенно уменьшает риск ошибки при диагностике злокачественных опухолей и избавляет пациентов с доброкачественной опухолью от необходимости снова делать маммографию и даже биопсию только для того, чтобы убедиться, что их опухоль не является злокачественной. В то же время сравнение со старыми снимками снижает риск ошибочной интерпретации снимков злокачественных опухолей и позволяет оперативно назначить пациенту соответствующее лечение патологии и дополнительные анализы.
Особенности долговременного хранения архивов медицинских снимков
Какой же должна быть идеальная система хранения, которая используется в качестве системы хранения для PACS? Очевидно, что с учетом большого размера медицинских снимков она должна обладать высокой масштабируемостью, чтобы в ней можно было сохранять результаты анализов каждого пациента, накопленные за несколько десятков лет. Второе требование – обеспечение быстрого поиска и извлечения данных из архива, без чего невозможно использование старых снимков для интерпретации результатов новых обследований.
Наконец, при хранении медицинских снимков требуется полностью исключить возможность «утечки» данных, потери и случайного или преднамеренного удаления или порчи. Особенностью хранения данных в PACS являются относительно скромные требования к производительности ввода/вывода: очевидно, что результаты анализов записываются в архив только один раз и никогда не изменяются, а запросы на извлечение этих данных из архива может направлять только ограниченный круг пользователей. Данные о конкретном пациенте обычно запрашиваются не чаще одного раза в год.
Традиционные СХД корпоративного класса не подходят для PACS прежде всего из-за слишком высокой стоимости хранения данных, которая во многом обусловлена ненужной для архивов медицинских снимков высокой производительностью при обслуживании транзакционных приложений, а более дешевые системы хранения начального уровня не обладают требуемой для архивов PACS масштабируемостью.
Возможно, лучшее решение для хранения медицинских снимков
Основным решением для хранения медицинских снимков и другого неструктурированного контента в организациях здравоохранения является использование файловых и объектных СХД, обладающих высокой масштабируемостью и низкой стоимостью хранения одного гигабайта. Одним из лидеров этого сегмента рынка систем хранения является компания Scality, продвигающая свое программно-определяемое хранилище Scality RING. Первая версия Scality RING вышла в 2010 году. Это – горизонтально-масштабируемое решение (scale-out), использующее связи peer-to-peer и распределенную архитектуру shared-nothing, которое развертывается на стандартных серверах x86. Scality RING поддерживает протоколы доступа к объектным данным S3 и Swift, API-интерфейсы simple HTTP и файловый доступ. В прошлом году Scality удалось в два раза увеличить число инсталляций своих систем в здравоохранении.
Программное обеспечение Scality RING разворачивается на кластере, состоящем в минимальной конфигурации из трех узлов хранения, и реализует набор интеллектуальных сервисов доступа к данным, а также защиты данных и системного управления. На верхнем уровне размещаются масштабируемые сервисы доступа к данным (коннекторы), которые обеспечивают предоставление данных приложениям по протоколам SMB, NFS и S3, а также супервизор для централизованного управления и мониторинга состояния системы. Коннекторы обычно инсталлируют непосредственно на узлы хранения, но их можно развернуть и на выделенных серверах.
Средний уровень хранилища Scality RING – это распределенная виртуальная файловая система с несколькими механизмами защиты данных, процессами самоизлечения системы и сервисами системного управления и мониторинга. Нижний уровень стека – это распределенный уровень хранения, который образуют виртуальные узлы хранения и демоны процессов ввода/вывода, которые абстрагируют физические серверы хранения и интерфейсы дисков.
Сердцем уровня хранения является масштабируемое распределенное объектное хранилище key-value на основе второго поколения протокола маршрутизации peer-to-peer. Маршрутизация обеспечивает эффективное горизонтальное масштабирование хранения и поиск по очень большому числу узлов. Программное обеспечение этих сервисов хранения развертывается на всех серверах, обладающих необходимой вычислительной мощностью и емкостью дисковой подсистемы. Серверы (узлы), на которых развертывается ПО Scality RING, соединяются стандартной сетевой фабрикой на базе IP, например, использующей 10/25/40/100 Gigabit Ethernet.
Scality RING включает следующие программные компоненты: серверы-коннекторы, распределенную СУБД MESA для хранения метаданных, узлы хранения, демоны ввода/вывода и web-портал управления. MESA обеспечивает индексацию объектов и управление метаданными, используемыми на уровне абстрагирования файловой системы Scality Scale-out file system (SOFS).
Коннекторы Scality RING обеспечивают доступ приложений к хранимым на серверах данным. Они поддерживают многие протоколы доступа к данным, включая объектный Amazon Web Services (AWS) S3 на базе стандарта Representational State Transfer (REST), а также файловые протоколы NFS, SMB и FUSE. Одно приложение может одновременно использовать несколько коннекторов RING для доступа к данным, если нужно горизонтально масштабировать ввод/вывод или параллельно обслуживать много пользователей.
Узел хранения – это виртуальный процесс, который отвечает за объекты, связанные с выделенной ему частью распределенной хеш-таблицы ключей (keyspace) RING. Демоны узлов хранения (так называемые bizoid) обеспечивают неизменность данных, хранящихся на диске в низкоуровневой локальной файловой системе. На одном физическом сервере (хосте) развертывается шесть виртуальных узлов хранения. Каждый biziod – это экземпляр низкоуровневого процесса, управляющий операциями ввода/вывода на конкретном физическом диске и поддерживающий соответствие ключей объекта адресам конкретных объектов на этом диске.
Для обеспечения высокой готовности объектного хранилища (до 14 девяток) в Scality RING вместо классической технологии RAID применяются различные механизмы защиты данных, оптимизированные для распределенных систем, в том числе локальная и территориально-распределенная репликация и механизм помехоустойчивого кодирования erasure coding, причем можно комбинировать репликацию с erasure coding в одном коннекторе. При хранении небольших объектов (размером до 60 Кбайт) более эффективным по стоимости решением защиты является репликация, а для крупных – erasure coding, при котором не нужно реплицировать большие наборы данных. При репликации используются шесть уровней класса сервиса Class of Service (CoS) от 0 до 5, что соответствует сохранению 3-5 реплик объекта, причем все реплики хранятся на разных дисках.
В случае использования erasure coding применяется механизм исправления ошибок Reed-Solomon, при котором вместо хранения нескольких реплик объекта он разбивается на «куски данных» (data chunks), которые записываются вместе с кодами (кусками) четности (parity chunks). Эти куски распределяются по узлам RING, и по ним можно восстановить данные при выходе из строя одного или нескольких узлов. Также высокая отказоустойчивость RING обеспечивается за счет архитектуры share-nothing, в которой нет главного («мастер») узла, отказ которого может привести к отказу всей системы.
Экосистема Scality RING
Хотя Scality RING можно развернуть на любых серверах стандартной архитектуры x86, аналитическое агентство Gartner в своем «магическом квадранте» Magic Quadrant for Distributed File Systems and Object Storage отмечает, что при его внедрении требуется тщательный выбор оборудования и детальная проработка проекта, а также глубокое погружение ИТ-специалистов заказчика в технологии Scality.
Компания Hewlett Packard Enterprise, являющаяся стратегическим партнером Scality с 2014 г., предлагает в качестве аппаратной платформы совместного решения для программно-определяемого объектного хранилища Scality RING две модели серверных систем из серии HPE Apollo 4000 Gen10, которые были разработаны специально для аналитики Больших Данных, файловых и объектных хранилищ: HPE Apollo 4200, обеспечивающую сверхвысокую плотность хранения (до 392 Тбайт в корпусе высотой 2U, вмещающем 28 полноразмерных диска LFF или 54 2,5-дюймовых накопителей SFF), и рассчитанную на гипермасштабирование емкости HPE Apollo 4510 на базе шасси 4U (68 полноразмерных дисков на шасси, более 9 петабайт в стандартной серверной стойке 42U).
Обе модели HPE Apollo 4000 Gen10 позволяют гибко подобрать конфигурацию дисковой подсистемы в соответствии с конкретными требованиями к производительности и емкости узла хранения и поддерживают хорошо знакомые пользователям серверов HPE ProLiant средства удаленного управления серверами HPE iLO 5, которые помогают быстро развернуть большое количество узлов хранения Scality RING и эффективно управлять ими.
Совместное решение НРЕ и Scality позиционируется как глобальное хранилище неструктурированных данных (включая и архивы), когда большая пропускная способность и емкость намного более важны, чем минимальные задержки при доступе к хранимым данным. Оно масштабируется до нескольких тысяч узлов хранения и доступа к данным, обеспечивая хранение сотен петабайт данных и триллионов объектов в одном пространстве имен.
Для дополнительной защиты хранимой информации можно использовать различные пакеты программ резервного копирования, поскольку Scality сертифицировала свое облачное хранилище на совместимость с продуктами VEEAM, Commvault, Microfocus Data Protector, Cloudera, MAPR и WEKA.IO, а применение Scality RING в здравоохранении в качестве архива медицинских снимков обеспечивает сертификация на совместимость с PACS-системами Fujifilm, GE Healthcare, Philips и ряда других вендоров.
Примеры внедрений Scality Ring в здравоохранении
В настоящее время только во Франции более десятка крупнейших больниц используют для хранения архивов медицинских снимков хранилище Scality Ring емкостью от 400 Тбайт до 6 Пбайт. Например, крупная совместная инсталляция НРЕ и Scality реализована в Assistance Publique Hôpitaux de Marseille (AP-HM), которая объединяет четыре марсельские больницы с 3400 койками и является третьей по размеру во Франции. В больницах AP-HM работает 2 тысяч врачей и еще 8500 других медицинских работников.
До 2011 г. в AP-HM для хранения снимков PACS использовалась система EMC Centera. К этому времени общий объем медицинских снимков был 60 Тбайт, но для защиты данных их реплицировали, поэтому они занимали 120 Тбайт емкости. Каждый год больничная PACS генерировала еще 20 Тбайт новых снимков. В 2011 г. AP-HM заменила Centera на NAS-систему и к 2017 г. объем снимков вырос до 320 Тбайт, а темпы роста увеличились до 40 Тбайт в год. Поскольку у NAS заканчивалась гарантия, и емкости этой СХД уже не хватало из-за быстрого роста объемов данных, руководство больниц AP-HM решило снова провести замену.
При выборе новой СХД требовалось обеспечить совместимость со всеми используемыми в больницах приложениями, в том числе поддержку файловых протоколов CIFS и NFS, масштабирование свыше нескольких петабайт, надежную защиту и безопасность данных. AP-HM выбрала НРЕ и Scality RING и построила распределенный по трем дата-центрам кластер RING из шести серверов хранения HPE Apollo 4510, а также двух серверов HPE ProLiant DL360, на которых хранятся СУБД метаданных META. В качестве основных приложений используется PACS-система Carestream от GE Healthcare, в которую записываются снимки, полученные в результате радиологических исследований, и архив геномики. Резервное копирование медицинских снимков и других данных выполняется с помощью программного обеспечения Commvault.
Доступность Scality Ring в России
Компании HPE и Scality накопили обширный опыт реализации совместных проектов. При внедрении Scality RING в медицинских учреждениях в России на помощь заказчику готовы прийти сертифицированные инженеры из московского офиса НРЕ.
По программе Factory Express компания HPE поставляет предконфигурированные в соответствии с требованиями заказчика Apollo 4000 Gen10 для быстрого развертывания кластера Scality RING, а также предлагает базовые эталонные конфигурации (Reference Architecture) этих серверных систем для кластера RING. Также с мая прошлого года HPE поставляет стартовый пакет Base Bundle из серверов Apollo 4200 Gen10 с начальной емкостью 240 Тбайт и предустановленным ПО Scality RING. Для развертывания Base Bundle нужно только задать скорость сети и требуемую емкость хранилища.
Получить дополнительную информацию о Scality Ring, а также ознакомится с интерфейсом и примерами интеграции с ПО резервного копирования вы сможете на техническом вебинаре HPE, который пройдет 17 июня. Регистрация доступна по ссылке: bit.ly/3bA9HP7