MAX Data объединят с Optane DC для эффективной работы с системами ИИ и МО.
Фото — Hitesh Choudhary — Unsplash
По данным исследования MIT Sloan Management Review и The Boston Consulting Group, 85% из трех тысяч опрошенных управленцев считают, что системы ИИ помогут их компаниям получить конкурентное преимущество на рынке. Однако что-то подобное пробовали реализовывать на практике всего 39% компаний.
Одна из причин сложившейся ситуации заключается в том, что эффективная работа с данными и оптимизация использования мощностей для задач машинного обучения — работа не из легких. В IDC отмечают, что разрешить ситуацию могла бы новая технология на базе постоянной памяти (Persistent Memory, PMEM).
Такую технологию предложили NetApp и Intel, объединив NetApp Memory Accelerated (MAX) Data и Intel Optane DC Persistent Memory, чтобы получить продукт для локального хранения данных на базе энергонезависимой памяти.
MAX Data — серверная технология, позволяющая повысить производительность приложений за счет использования PMEM или DRAM, но не требующая перестройки архитектуры ПО.
Она реализует принципы автоматизированного многоуровневого хранения, распределяя данные по уровням и хранилищам в зависимости от частоты использования — для «холодных» данных задействуется более доступное хранилище, а часто используемые находятся «под рукой» — в Persistent Memory, которая минимизирует задержку при работе с такими данными.
Версия 1.1 задействует память DRAM и NVDIMM. Обе реализации имеют свои недостатки — относительная потеря эффективности и высокая стоимость памяти соответственно — по сравнению с Optane DCPMM. Диаграмма, дающая сравнительную оценку задержки, представлена здесь (стр. 4).
Технология поддерживает и POSIX и работу с семантикой блочных или файловых систем. Защита и восстановление данных на уровне хранилища реализована с помощью MAX Snap и MAX Recovery. Эти технологии используют в работе снепшоты, инструмент SnapMirror и другие защитные механизмы ONTAP.
Схематически реализация выглядит следующим образом:
На этой схеме пока нет PMEM, но разработчики обещают добавить поддержку этого типа памяти в до конца года. Пока что Max Data работает с DRAM и DIMM.
В IDC утверждают, что в ближайшие годы разработок вроде MAX Data станет больше, поскольку объемы корпоративных данных постоянно растут, а у компаний не хватает мощностей для их эффективной обработки. Технология может пригодиться в масштабной облачной среде и для работы с ресурсоемкими задачами вроде обучения нейросетей. Она найдет применение на трейдинг-платформах, в системах ИБ и любых других программных продуктах, где требуется постоянный и быстрый доступ к большим объемам информации.
Есть и доля вероятности, что технология не сразу приживется на рынке. Как мы отметили выше, в том или ином виде с системами ИИ работает всего лишь треть компаний по всему миру. С этой точки зрения появление MAX Data многие могут посчитать преждевременным и сфокусируют свое внимание на более доступной инфраструктуре, которая позволяет решать текущие задачи.
Наши другие материалы про IT-инфраструктуру:
Фото — Hitesh Choudhary — Unsplash
По данным исследования MIT Sloan Management Review и The Boston Consulting Group, 85% из трех тысяч опрошенных управленцев считают, что системы ИИ помогут их компаниям получить конкурентное преимущество на рынке. Однако что-то подобное пробовали реализовывать на практике всего 39% компаний.
Одна из причин сложившейся ситуации заключается в том, что эффективная работа с данными и оптимизация использования мощностей для задач машинного обучения — работа не из легких. В IDC отмечают, что разрешить ситуацию могла бы новая технология на базе постоянной памяти (Persistent Memory, PMEM).
Такую технологию предложили NetApp и Intel, объединив NetApp Memory Accelerated (MAX) Data и Intel Optane DC Persistent Memory, чтобы получить продукт для локального хранения данных на базе энергонезависимой памяти.
Как это работает
MAX Data — серверная технология, позволяющая повысить производительность приложений за счет использования PMEM или DRAM, но не требующая перестройки архитектуры ПО.
Она реализует принципы автоматизированного многоуровневого хранения, распределяя данные по уровням и хранилищам в зависимости от частоты использования — для «холодных» данных задействуется более доступное хранилище, а часто используемые находятся «под рукой» — в Persistent Memory, которая минимизирует задержку при работе с такими данными.
Версия 1.1 задействует память DRAM и NVDIMM. Обе реализации имеют свои недостатки — относительная потеря эффективности и высокая стоимость памяти соответственно — по сравнению с Optane DCPMM. Диаграмма, дающая сравнительную оценку задержки, представлена здесь (стр. 4).
Технология поддерживает и POSIX и работу с семантикой блочных или файловых систем. Защита и восстановление данных на уровне хранилища реализована с помощью MAX Snap и MAX Recovery. Эти технологии используют в работе снепшоты, инструмент SnapMirror и другие защитные механизмы ONTAP.
Схематически реализация выглядит следующим образом:
На этой схеме пока нет PMEM, но разработчики обещают добавить поддержку этого типа памяти в до конца года. Пока что Max Data работает с DRAM и DIMM.
Потенциал решения
В IDC утверждают, что в ближайшие годы разработок вроде MAX Data станет больше, поскольку объемы корпоративных данных постоянно растут, а у компаний не хватает мощностей для их эффективной обработки. Технология может пригодиться в масштабной облачной среде и для работы с ресурсоемкими задачами вроде обучения нейросетей. Она найдет применение на трейдинг-платформах, в системах ИБ и любых других программных продуктах, где требуется постоянный и быстрый доступ к большим объемам информации.
Есть и доля вероятности, что технология не сразу приживется на рынке. Как мы отметили выше, в том или ином виде с системами ИИ работает всего лишь треть компаний по всему миру. С этой точки зрения появление MAX Data многие могут посчитать преждевременным и сфокусируют свое внимание на более доступной инфраструктуре, которая позволяет решать текущие задачи.
Наши другие материалы про IT-инфраструктуру:
