Как стать автором
Поиск
Написать публикацию
Обновить
189.41

Хранение данных *

Что имеем, то храним

Сначала показывать
Период
Уровень сложности

Facebook представила Backpack — второе поколение модульных маршрутизаторов для дата-центров

Время на прочтение2 мин
Количество просмотров6.6K


Вектор развития веба последнего десятилетия ставит перед инженерами все более и более сложные задачи. С повышением скорости доступа к сети Интернет наиболее популярным контентом становится видео и, по оценке специалистов Facebook, уже в 2020 году 75% трафика будет приходиться именно на этот тип контента. Плюс, как мы знаем, объём данных растёт в геометрической прогрессии и даже самое современное оборудование уже далеко не всегда эффективно справляется со своими задачами.

Чуть раньше с проблемой загруженности столкнулась компания Google со своим сервисом YouTube, но для Facebook ситуация немного иная: растет популярность видеозвонков, а также на пороге стоят ВР-технологии, развитию которых социальная сеть придает не последнее значение.

Компания Facebook давно вышла за рамки одной лишь социальной сети и активно вкладывается в прочие проекты. Кроме различных сервисов в активе компании Марка Цукенберга есть разработки и в сфере передачи данных. Одним из итогов проводимой работы стал Backpack — второе поколение модульных маршрутизаторов, обеспечивающих пропускную способность в 100G, о чем сообщается в dev-блоге компании.

Властелин хранилищ

Время на прочтение5 мин
Количество просмотров7.6K
Организации, особенно крупные, нередко имеют достаточно внушительный парк систем хранения данных, регулярно пополняемый за счет подключения все новых и новых устройств. Как же добиться эффективного использования оборудования и наиболее оптимального распределения дискового пространства и ресурсов? Компания HewlettPackard Enterprise уделяет серьезное внимание этим задачам и предлагает своим заказчикам программные инструменты для их решения. На протяжении многих лет для управления ресурсами СХД предлагался продукт Storage Essentials, но пару лет назад ему на смену пришло решение HPE Storage Operations Manager, обеспечивающее мониторинг, инвентаризацию, а также контроль использования ресурсов СХД на совершенно новом качественном уровне.


Читать дальше →

«Быстрее, выше, сильнее»: Новые технологии дата-центов

Время на прочтение5 мин
Количество просмотров4.4K
Сегодня олимпийский девиз «быстрее, выше, сильнее» вполне применим и к индустрии компьютерных технологий – чтобы оставаться конкурентоспособными многие участники рынка стараются «отработать» технику и стать лучше. Особенно когда речь идет о новых технологиях – попытки увеличить производительность, ёмкость памяти и скорость передачи данных не прекращаются.


/ фото Arthur Caranta CC
Читать дальше →

NetApp ONTAP Cloud: Amazon & Azure

Время на прочтение5 мин
Количество просмотров4K
Преимуществом любой облачной услуги является то, что это собственно услуга. Вы не заморачиваетесь где живёт оборудование, кто его обслуживает и т.д. Но это же является и его тёмной стороной: кто имеет доступ к вашим данным, сколько копий ваших данных хранится в резервных копиях и резервных ЦОД’ах и где? Все эти вопросы долгое время отталкивали некоторые большие компании и государственные структуры.

Решив эти вопросы, множество компаний смогли бы начать пользоваться облачными сервисами. Для решения этой проблемы и была разработана облачная Система Хранения Данных ONTAP Cloud — виртуальная машина живущая в публичном облаке Amazon или Azure со встроенной функцией шифрования. Теперь вы владеете и управляете своими данными и только вы. Подробнее на официальном сайте NetApp и официальной документации по самому продукту и по OnCommand Cloud Manager.

Установить СХД NetApp в публичном облаке

Совместная работа с документами: SharePoint 2016, Office Online и все-все-все. Часть 1. Что это?

Время на прочтение5 мин
Количество просмотров51K

«Корпорация Зла» (joke) осваивает нишу совместной работы с документами уже второе десятилетие. Начиналось всё с ранних версий SharePoint, при упоминании которых котики поопытнее сразу начинают плакать – уж больно специфичен с точки зрения и настроек, и возможностей был в те далекие годы MS SP. Ладно, не будем больше травмировать друг друга воспоминаниями о том неуклюжем монстре…

Но упорства у Microsoft не занимать – работа по улучшению ситуации велась все это время, причем сразу на нескольких фронтах. В результате сейчас можно говорить о сложившейся инфраструктуре совместной работы с документами, которую предлагает Microsoft. В ней выделяются два класса софта:

  1. Средства коллективного доступа к документам, включающие в себя каталогизацию, управление версиями, раздачу прав и тому подобные серверные фичи. Эти средства, в свою очередь, подразделяются на облачные (OneDrive, SharePoint Online) и on-premise, то есть разворачиваемые в инфраструктуре самого заказчика — сервер SharePoint 2016.
  2. Средства редактирования документов. К ним относятся: десктопное семейство Microsoft Office (тоже сильно переработанное за последнее время), свежесочиненные мобильные версии Office, изначально ориентированные на совместную работу с документами, и, вишенкой на торте – собственная реализация сервера онлайн-редактирования документов Office Online apps (несколько ранее известного под именем Office Web Apps).
Читать дальше →

SmartSAN – как сделать жизнь проще

Время на прочтение4 мин
Количество просмотров7.8K
Если вам приходилось настраивать зонирование в средних и больших сетях SAN, то вы наверное согласитесь, что это достаточно утомительный и сложный процесс, отнимающий немало времени. Да и к тому же, при зонировании легко сделать ошибки, которые впоследствии будет нелегко отловить. Поэтому разумно было бы максимально автоматизировать процесс создания зон с целью сокращения временных затрат и устранения ошибок, связанных с так называемым «человеческим фактором».

Технология HPE SmartSAN для дисковых массивов HPE 3PAR StoreServ как раз и предназначена для автоматизации настройки зон.
Читать дальше →

IaaS-дайджест: 30 материалов о применимости облачных технологий

Время на прочтение6 мин
Количество просмотров4.1K
Вашему вниманию вновь предлагается подборка материалов, подготовленных силами экспертов «ИТ-ГРАД». Этот выпуск IaaS-дайджеста посвящен вопросам применимости облачных технологий: обзорам, управлению и практическим кейсам.



/ фото jacinta lluch valero CC
Читать дальше →

Назад к истокам или шаг вперед? HPE StoreVirtual VSA

Время на прочтение6 мин
Количество просмотров9.8K
Следуя современным тенденциям в индустрии хранения и обработки данных, я добрался до SDS — программно-определяемых хранилищ, а именно — продукта компании HPE под названием HPE StoreVirtual VSA, о чем и поведаю Вам в данной статье.


Читать дальше →

О том, как я получал статус NCDA (NetApp Certified Data Administrator, Clustered Data ONTAP 8.3)

Время на прочтение4 мин
Количество просмотров9.2K
В этом году я решил, что обязательно должен попробовать написать на Хабр.

По роду своей деятельности я немного занимаюсь системами виртуализации и как сопутствующим — системами хранения данных, на которых виртуальные машины и обитают. Соответственно, имелся небольшой опыт в настройке SAN сетей и некоторых СХД производства HP.

Но было в моем ведомстве еще две волшебные пары контроллеров NetApp, работающих в 7-Mode. Занимался я исключительно их поддержкой, выделением LUN и имел базовое представление о том, как это все работает изнутри.
Читать дальше →

Надежное хранение и обновление данных во флэш памяти микроконтроллеров STM32 и MSP430

Время на прочтение8 мин
Количество просмотров28K
Часто возникает задача сохранить изменяемые данные, например конфигурацию, во флэш памяти микроконтроллера. Решение кажется простым, однако обеспечить надежность обновления данных при условии, что питание может отключиться в любой момент, оказывается весьма нетривиально, и даже использование контрольных сумм не решает проблему полностью. Из этой статьи вы узнаете
  • как устроена флэш память
  • к каким проблемам приводит выключение питания в момент записи или стирания
  • как эти проблемы решаются

Для желающих применить на практике — работающий код под STM32F4
Читать дальше →

В чем особенность подземных ЦОД

Время на прочтение2 мин
Количество просмотров21K
Мы в 1cloud занимаемся постоянным улучшением сервисов нашего IaaS-провайдера и много пишем об этом в блоге на Хабре.

Совсем недавно мы кратко рассказали о том, что стоит за картинками в интернете, на примере дата-цента фотохостинга imgix.

Сегодня мы продолжим эту тему и поговорим об особенностях подземных ЦОД.

Читать дальше →

Охлаждение серверной. Куда потратить деньги с пользой

Время на прочтение6 мин
Количество просмотров24K
На написание этой публикации меня подвигли 4 вещи:
1. Публикация «Почему важно поддерживать температурный режим в серверной. Как обычно устроено охлаждение серверной», в которой автор попытался выполнить почетную и очень трудную миссию по разъяснению необходимости охлаждать сервера.
2. Ошибки, вычитанные в этом посте.
3. Собственный опыт.
4. Стремящееся к нулю количество содержательных статей по тематике инфраструктуры ЦОД (я подразумеваю, что серверная = маленький ЦОД) на Хабре. Хотя «Билайн» и ребята из «ЦОДы.рф» в этом плане большие молодцы.

Итак, о чем будет этот публикация.

В первую очередь это будет небольшой экскурс в теорию холодоснабжения серверных. Во вторую очередь я попытаюсь разобраться с основными заблуждениями при планировании холодоснабжения. И в третью – разбор, куда же все-таки стоит вложить денег, а от чего можно отказаться.
Смелые, добро пожаловать под кат

Введение в дедупликацию данных

Время на прочтение7 мин
Количество просмотров52K

Введение


В области обеспечения непрерывности бизнеса существует много различных проблем, связанных с быстрым ростом данных в современных IT инфраструктурах. На мой взгляд, можно выделить две основные:



  1. Как запланировать место для хранения большого объема данных
  2. Как сделать резервную копию этих данных

Действительно, рост объема данных на терабайты в год у какой-нибудь крупной организации – сегодня вполне реальный сценарий. Но как быть с эффективным хранением и резервным копированием? Ведь в сутках есть максимум 24 часа и окно резервного копирования не может расти бесконечно (в отличие от самих данных). Сегодня я хочу рассказать, как дедупликация может помочь уменьшить остроту этой проблемы.




Читать дальше →

Ближайшие события

Почему растёт спрос на гиперконвергентные системы

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров2.1K

Спрос на локальное оборудование для центров обработки данных снижается по мере того, как организации переносят рабочие нагрузки в облако. Но локальные решения не исчезли, и одним из востребованных сегментов является гиперконвергентная инфраструктура (HCI).

Читать далее

Развёртывание отказоустойчивого Nextcloud Enterprise: пошаговое руководство

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров4.7K

Привет! Сегодня поговорим о Nextcloud. Вы наверняка слышали об этом мощном решении для хранения, совместной работы и обмена файлами. В статье разберём, как развернуть Nextcloud в высокодоступной конфигурации с балансировщиком нагрузки, реплицируемой базой данных, отказоустойчивым хранилищем и полнотекстовым поиском.

Читать далее

Сериализация в Unity: известные атрибуты и их проблемы

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров3.2K

Любой Unity-разработчик знаком с атрибутом [SerializeField], который позволяет сериализовывать непубличные члены класса и, соответственно, отображать их в инспекторе. Но, в силу его ограниченности, позже начали появляться и другие способы сериализации.

Попробую кратко рассказать, какие альтернативы используются, зачем все они нужны, как работают и, о чём не любят писать в кликбейтных постах, какие подводные камни могут скрывать.

Читать далее

Влияние маленьких файлов на Big Data: HDFS vs S3

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров3.4K

Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API.

Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse. Сравним производительность HDFS и объектных хранилищ с S3 API. На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC).

Тесты, графики, инсайды

Мой адрес — не дом и не улица: как создать нужную бизнесу адресную модель

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1K

Приходит заказчик и говорит: «Мы новую систему строим, проконсультируйте нас, пожалуйста. Вы же адресами занимаетесь. Нам нужно сделать универсальную адресную модель. Вот у вас «Единый адрес» есть, какая там модель? Мы примем ее за эталонную и будем в своих системах использовать».

Ребята, я вас сейчас разочарую. В «Едином адресе» не одна адресная модель, а несколько. И ни одну из них копировать просто так не нужно. 

Эта статья для архитекторов, аналитиков и разработчиков. В ней я расскажу, в чем подводные камни в работе с адресами и что нужно учитывать при проектировании адресных моделей. 

Читать далее

Идеальный NAS на 8 NVME дисков. Обзор Terramaster F8 Plus

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров13K

У меня как и, наверное, у любого айтишника есть какое-то огромное количество файлов, которое надо бэкапить. И у меня уже есть NAS с обычными HDD дисками для моих бэкапов. Но для себя я решил, что NAS c HDD хорошо подходит для хранения чего-то к чему не очень то и часто обращается. А вот если нужно хранить что-то что иногда нужно скачать или закачать, то значительно приятнее работать с NAS на NVME дисках.

Таких девайсов на самом деле не так уж и много. Есть некоторые модели на 4 диска. А вот на 8 дисков я даже и конкурентов не знаю. Поэтому сегодня будет обзор на уникальную по-своему штуковину - NAS на 8 быстрых NVME дисков. Да еще и с 10 гигабитным ethernet портом.

Читать далее

Почему мы делаем собственное объектное хранилище в MWS

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров2.8K

Привет! Меня зовут Алексей Баранов, я руковожу направлением Data Storage Systems в облаке MWS Cloud Platform. Мы начинаем серию статей, в которой расскажем, как устроены наши системы хранения, почему мы их делаем так и почему именно такие.

В этой статье расскажу, как мы подошли к выбору технологий для object storage новой облачной платформы. Обсудим плюсы и минусы популярных на рынке решений вроде Ceph RGW, какие требования мы предъявляли к системе, и какая архитектура в итоге получилась.

Читать далее

Вклад авторов