Как стать автором
Обновить
0

SAN *

Сеть хранения данных

Сначала показывать
Порог рейтинга
Уровень сложности

Тестирование блочных стораджей: нюансы и особенности практики

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 7.3K

Привет, Хабр! Меня зовут Сергей Качкин. Вместе с командой я занимаюсь тестированием производительности систем хранения данных: много тестов делаем сами, видим результаты наших коллег и заказчиков, так у нас накопилось некоторое количество опыта, которым хочется поделиться. 

В этой статье я расскажу про тестирование блочных стораджей. Начнем с теории — поговорим о выборе цели теста, отличиях синтетики от реальных нагрузок, выборе инструмента для генерации нагрузки. Затем перейдём к практике — тестированию случайного и последовательного доступа, измерению масштабируемости СХД. 

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 17

Новости

Как ДОМ.РФ работает с системами хранения данных российского производства

Время на прочтение 14 мин
Количество просмотров 5.8K

В постоянно меняющемся мире сфера IT как одна из самых молодых пытается держаться на переднем крае. И мы, системные инженеры, должны учитывать все факторы окружающей среды, чтобы оставаться на плаву в этом неспокойном море.

Читать далее
Всего голосов 19: ↑18 и ↓1 +17
Комментарии 4

Тестовый запуск системы видеонаблюдения Synology на 8 камер

Уровень сложности Сложный
Время на прочтение 4 мин
Количество просмотров 14K

Речь пойдёт о системе записи с IP-камер Surveillance Station от Synology. Я сам уже много лет использую Synology, причём впервые познакомился с ней ещё до покупки оригинального железного сервера, установив через Xpenology фирменную операционную систему на обычный компьютер.

Xpenology является загрузчиком операционной системы от Synology, которая называется DSM (DiskStation Manager) и используется на  фирменных NAS Synology. DSM работает на пользовательской версии Linux, разработанной Synology.

Веб-приложение Surveillance Station - это система NVR (сетевой видеозаписи) для обеспечения безопасности с помощью мониторинга IP-камер. Это приложение кажется довольно удобной, хотя и проприетарной системой видеонаблюдения, которая работает прямо из коробки. По умолчанию возможно бесплатное подключение только двух камер.

Однако бразилец Фабио Белавенуто в июле 2022 выложил на гитхабе проект загрузчика Automated RedPill Loader (ARPL), который позволяет практически без использования командной строки создать загрузочную флешку и протестировать запуск Synology DSM 7.1 и Surveillance Station 9.0.1-7673 на 8 камер без какой либо дополнительной оплаты на обычном компьютере при эмуляции сетевого хранилища DVA1622.

Альтернативный загрузчик для Синолоджи?
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 6

Cisco UCS C220 (Fabric Interconnection 6842) + Dell EMC VNX 5300

Время на прочтение 3 мин
Количество просмотров 2.5K
image

Началось с того, что у меня развалилась FS — подробнее тут. Бэкапов, конечно же, нет.
Как определил? Потребовалось прокинуть новый VLAN, а он прокидывается только Cisco UCS Manager далее (CUM). Перезагрузил Fabric B, она в варнинге (warning), подключился консольником и увидел ошибку, спустя 7 месяцев раздобыл ресурсы для того, чтобы все виртуалки перенести на другие сервера. Перенёс VM, перезагрузил Fabric A, и ВСЁ!!! Больше ничего не загрузилось.

Для меня этот зверь был необуздан, поэтому много искал и читал…

Для начала требуется скачать с оф. сайта прошивку. Несмотря на то, что у меня Interconnection 6248, прошивку скачивал для 6100 Series. Распаковал bin файл через 7zip и достал:

  • ucs-6100-k9-kickstart.5.2.3.N2.2.23e.bin;
  • ucs-6100-k9-system.5.2.3.N2.2.23e.bin;
  • ucs-manager-k9.2.2.3e.bin.

Поставил ноут, загрузился с Ubuntu, нажав при загрузке «Попробовать сейчас» (Try now), скачал и запустил SSH demon, потом установил статичный ip, подключился в первую фабрику.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 2

Истории

Построение Disaster Recovery в среде VMware с помощью СХД QSAN

Время на прочтение 6 мин
Количество просмотров 2.1K

Наш мир устроен так, что ничто не вечно под Луной. Другими словами, абсолютно все может прийти в негодность. Ну или, применительно к IT отрасли, может дать сбой. IT индустрия буквально пропитана идеей резервирования всего и вся ради обеспечения непрерывности работы и доступности сервисов. Начинаем с дублирования компонентов в рамках отдельной «железки», далее выполняем дублирование самих серверов, строим кластеры, резервируем каналы связи, осуществляем территориальное распределение и так далее. Все это напоминает спираль, где каждый новый виток означает очередное дублирование уже имеющейся IT инфраструктуры на более высоком уровне. Вопрос лишь в том, когда происходит остановка. Ведь давно уже не секрет, что очередная девятка после запятой в числовом значении доступности сервиса означает увеличение стоимости решения на порядок (то есть в 10 раз!).

Читать далее
Рейтинг 0
Комментарии 4

Защита резервных копий от шифровальщиков с помощью WORM

Время на прочтение 4 мин
Количество просмотров 5K

Количество атак Ransomware, также известных как вирусы-шифровальщики, постоянно растет. Что, впрочем, нисколько не удивляет: ведь это весьма прибыльный теневой бизнес. Абсолютное большинство публичных компаний, которые были успешно атакованы, предпочитают не выносить сор из избы, чтобы не афишировать свои промахи в сфере кибербезопасности, все же заплатили выкуп вымогателям. Те же, кто отказался платить мзду, навсегда потеряли часть своих данных.

В Сети очень много информации о том, как максимально защитить свою инфраструктуру от подобных атак. Но все в конечном итоге сводится к последнему рубежу обороны – резервным копиям. Если первоначально целью шифровальщиков были пользовательские данные на локальном устройстве и в сетевых папках, то сейчас помимо них злоумышленников интересуют также и хранилища с бэкапами. Ведь именно зашифровав точки восстановления можно буквально поставить жертву на колени. Поэтому сохранность резервных копий – это, пожалуй, одна из главных задач по противодействию вымогателям. Разумеется, бэкапы важны еще и по многим другим причинам, но сегодня мы поговорим именно о защите от Ransomware.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 13

Оптимальный выбор SSD для СХД Qsan

Время на прочтение 5 мин
Количество просмотров 2.7K

Ни для кого не секрет, что большинство вендоров СХД привязывают своих пользователей к накопителям собственной торговой марки. Так что типичный подбор, например, SSD подразумевает определение парт-номера накопителя в соответствии с характером нагрузки (read, mixed, write) и его емкостью. В целом, данный подход призван облегчить жизнь IT отделу, но при этом создать повышенную нагрузку на бюджет компании. А бюджеты, как известно, не резиновые. Поэтому всегда существовали и будут существовать вендоры, производящие решения из области хранения данных, которые позволяют использовать накопители сторонних производителей. В этом случае у пользователей имеется гораздо больше возможностей по выбору тех или иных накопителей, поскольку листы совместимости СХД содержат в себе большое количество позиций.

Читать далее
Рейтинг 0
Комментарии 0

All Flash NVMe от QSAN с поддержкой NVMe SSD сторонних производителей

Время на прочтение 7 мин
Количество просмотров 3.8K

Еще, казалось бы, недавно для всех нас деревья были выше, трава зеленее, а в качестве накопителей в серверах и СХД применялись только жесткие диски. Однако сейчас уже привычные SATA/SAS SSD считаются вполне заурядными компонентами систем хранения данных. Более того, все чаще начинают применяться NVMe SSD. Они используются не только для задач кэширования, но и для хранения оперативных данных. Поэтому на рынке растет число предлагаемых All Flash NVMe решений.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 2

Управление кластерным хранилищем с помощью LINSTOR

Время на прочтение 12 мин
Количество просмотров 7K

Электронное хранилище

LINSTOR​​ - это инструмент для автоматизированного управления кластерами, который позволяет упростить управление DRBD​ и предлагает широкий спектр функций, включая резервирование и моментальные снимки.

LINSTOR​​ - это программное обеспечение с открытым исходным кодом, предназначенное для управления блочными устройствами хранения в больших кластерах Linux серверов. Оно упрощает развертывание хранилища высокой доступности с помощью распределенного реплицированного блочного устройства версии 9 (DRBD​ 9), динамически резервирует хранилище и упрощает управление посредством интеграции с Kubernetes, Docker, OpenStack, OpenNebula, OpenShift и т.д. Кроме того, LINSTOR​​ может обеспечивать высокую доступность с помощью DRBD​​. В этой статье я рассмотрю настройку и работу этого инструмента.

На первый взгляд, автоматизация хранения данных не кажется сложной задачей: уже давно создания, расширения и удаления томов хранилища не ограничиваются объемом отдельных устройств хранения или объемом и положением слоев или разделов, созданных на устройствах хранения. Такие технологии, как диспетчер логических томов (LVM) или файловая система Zetabyte (ZFS), уже давно позволяют управлять пулами хранения, в которых можно легко создавать или удалять практически неограниченное количество томов хранилища любых размеров.

Что трудного в том, чтобы автоматизировать такие рутинные задачи с помощью нескольких скриптов? Но дело в том, что при автоматизации необходимо уделять внимание мельчайшим деталям, поскольку этот процесс содержит много потенциальных ловушек для администратора. Какие-то мелкие моменты, которые могут быть не заметны при ручном администрировании, легко могут привести к проблемам в автоматизации – например, когда файлы устройств еще не существуют в файловой системе /dev, хотя соответствующая команда для создания тома уже сообщила о завершении, или если вы хотите удалить не смонтированные тома, которые используются подсистемой udev. Если дополнительно требуется централизованное управление целым кластером, а не только одной системой, становится ясно, что несколько готовых скриптов не справляются с этой задачей.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 2

Можно ли сэкономить на СХД?

Время на прочтение 8 мин
Количество просмотров 6K

Мы решили выяснить насколько эффективны новые решения VMware vSAN 7 и можно ли с их помощью снизить издержки на содержание СХД, в том числе за счет увеличения количества гиперконвергентных структур в одном кластере. Я собрал стенд с четырьмя серверами различных конфигураций для тестирования vSAN 7.0. Результаты получились весьма обнадеживающими, подробности — под катом. 

Читать далее
Всего голосов 13: ↑12 и ↓1 +11
Комментарии 7

Как я (не)попробовал поиграться с SAS свитчами

Время на прочтение 2 мин
Количество просмотров 5.4K

У меня стоят нотификации ebay на некоторое количество старого серверного железа, которое уже никому не нужно, но в обычной ситуации продолжает стоить неприлично. Для домашней лабы и желания поиграться - цена неоправданна совсем, но периодически всплывают очень интересные варианты. В этих-же email-ах есть "похожее". И в какой-то момент я увидел в этом "похожем" предложение на SAS switch (LSISAS6160). У продавца было 3 штуки, каждая по $80. Главной потенциальной проблемой было то, что они были без БП, а он там внешний (12А 75W), думаю - разобраться и найти аналог не проблема. Понимая, что один - это мало, так как будут эксперименты, и зная нашу таможню - я предложил у него купить сразу все три оставшихся, но по $65. Он согласился. Ехало это всё примерно месяц.

tl;dr Как сжечь старое серверное железо без фирменного блока питания

И как-же что-то пошло не так
Всего голосов 6: ↑3 и ↓3 0
Комментарии 43

Инжиниринг производительности систем хранения данных

Время на прочтение 8 мин
Количество просмотров 4.6K
Всем привет! Каждый день наша большая и дружная команда инженеров решает сложные задачи и вносит вклад в создание высокотехнологичных продуктов — систем обработки и хранения данных. Мы решили познакомить вас с их рутиной поближе, и сегодня начинаем серию интервью с коллегами, чтобы от первого лица рассказать обо всех нюансах их работы.

image

Производительность — одна из ключевых характеристик качественного программного обеспечения: прочие характеристики систем хранения данных не будут оценены по достоинству, если она работает медленно или нестабильно. Сегодня мы беседуем с Сергеем Качкиным kachini — руководителем отдела технической экспертизы департамента прикладных исследований и технической экспертизы компании YADRO.

У его профессии несколько названий: аналитик производительности, performance engineer, performance tester. И все они достаточно мало распространены в России. Между тем инжиниринг производительности помогает создавать эффективные компьютерные системы, которые работают быстро и надежно. Его задача — изучить, почему система функционирует не так, как хотелось бы, разобраться в причинах медленной или не соответствующей целевым параметрам работы, выявлять и находить проблемные места, помогать их устранять.  

Сергей Качкин рассказал о поиске узких мест в программном стеке и оптимизации производительности СХД, о том, чем занимается его команда.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 1

Мониторинг СХД при помощи Zabbix, Python и протоколов CIM/WBEM

Время на прочтение 5 мин
Количество просмотров 8.2K
В данной статье мы немного поговорим о мониторинге СХД, поддерживающих протоколы CIM/WBEM, на примере IBM Storwize. Необходимость такого мониторинга оставлена за скобками, будем считать это аксиомой. В качестве системы мониторинга будем использовать Zabbix.

В последних версиях Zabbix компания стала уделять шаблонам гораздо больше внимания — стали появляться шаблоны для мониторинга сервисов, СУБД, Servers hardware (IMM/iBMC) через IPMI. Мониторинг СХД пока остаётся вне шаблонов из коробки, поэтому для интеграции в Zabbix информации о статусе и производительности компонентов СХД нужно использовать кастомные шаблоны. Один из таких шаблонов я предлагаю вашему вниманию.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 8

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн

Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами

Время на прочтение 8 мин
Количество просмотров 52K

TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.


Читать дальше →
Всего голосов 26: ↑24 и ↓2 +22
Комментарии 13

СХД Qsan в системах видеонаблюдения

Время на прочтение 6 мин
Количество просмотров 1.1K

Окружающий мир определенно не такой, каким он был десяток лет назад. В то время никто бы не поверил, что за нами будет пристально следить 24 часа в сутки огромное количество видеокамер. Если раньше видеонаблюдение было развернуто лишь в наиболее уязвимых, с точки зрения безопасности, местах, то сейчас редко можно встретить даже мелкий магазинчик без собственных видеокамер. В крупных мегаполисах применяется масштабное наблюдение за улицами, дворами домов и прочими общественными местами. Можно по-разному относиться к постоянному наблюдению за людьми и объектами (кто-то видит в этом безопасность, а кто-то – признаки тотального контроля), но решать технические вопросы в данной сфере все равно необходимо.



Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

Подключение СХД Qsan к серверам в среде Windows Server и Hyper-V

Время на прочтение 7 мин
Количество просмотров 14K

Мы продолжаем цикл публикаций из серии How To для пользователей СХД Qsan. В данной статье пойдет речь о подключении СХД к серверам на базе Windows Server, в том числе при использовании функционала виртуализации Hyper-V.


Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 6

Подключение СХД Qsan к гипервизору VMware ESXi

Время на прочтение 7 мин
Количество просмотров 12K

Эксплуатация технически сложного оборудования, типа систем хранения данных, подразумевает наличие у администратора определенных навыков. Однако высокие технологии шагают в массы. И, соответственно, растет число пользователей, впервые столкнувшиеся с ними. Уверены, что статьи в стиле How To являются отличным способом пополнить багаж знаний как для новичков, так и узнать нюансы и особенности для опытных пользователей.


В данной статье мы рассмотрим порядок подключения СХД Qsan к гипервизору VMware ESXi, а также по возможности дадим практические советы по тюнингу настроек для достижения максимальной эффективности использования оборудования.

Читать дальше →
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Использование компонентов сторонних производителей в СХД на примере Qsan

Время на прочтение 5 мин
Количество просмотров 1.6K

Информационным поводом для написания данной статьи стала официальная поддержка со стороны Qsan подключения к СХД полок расширения сторонних производителей. Этот факт заметно выделяет Qsan среди прочих вендоров и даже в некоторой степени ломает привычное положение на рынке СХД. Однако просто написать о связке СХД Qsan + «чужой» JBOD нам показалось не так интересно, нежели затронуть отчасти холиварную тему использования компонентов сторонних производителей.



Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 1

Использование СХД в работе с медиа контентом

Время на прочтение 4 мин
Количество просмотров 2.4K

Современный мир уже сложно представить без обилия медиа контента, представленного, в том числе, в виде аудио и видео данных. Казалось бы, еще совсем недавно пределом мечтаний была коллекция MP3 файлов. А сегодня видеофайлы с разрешением 4K уже воспринимаются как нечто обыденное. Весь этот медиа контент нужно создать, где-то разместить и затем предоставить к нему доступ. Современные системы хранения данных (и Qsan в том числе) как нельзя лучше подходят в качестве одного из основных инструментов по работе с контентом.


Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 6

Отказоустойчивость в СХД Qsan

Время на прочтение 5 мин
Количество просмотров 3.1K

Сегодня в IT-инфраструктуре, с повсеместным использованием виртуализации, системы хранения данных являются ядром, хранящим все виртуальные машины. Отказ этого узла способен полностью остановить работу вычислительного центра. Хотя немалая часть серверного оборудования имеет отказоустойчивость в той или иной форме «по умолчанию», именно из-за особой роли СХД в рамках дата-центра к ней предъявляют повышенные требования в плане «живучести».



Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 14

Вклад авторов