История такая: будучи одной из крупнейших ИТ-компанией на российском рынке ИТ-аутсорсинга и услуг, мы очень часто оказываемся в ситуации поддержки решений на стыке двух-трёх производителей. И когда возникает проблема, например, от которой зависит, заплатят людям вовремя пенсию или нет, в общем случае начинается следующая история:
— Ну что вы, наше железо отлично работает, проблема в ПО, — говорит первый вендор и отправляет ко второму.
— Как можно! Наш софт протестирован, проблема в аппаратной части, — говорит второй и отправляет к первому.

Если на этой стадии начать их знакомить, собирать встречи и объяснять, что надо работать, а не переводить стрелки, то конечные пользователи могут выйти толпой на улицы.

Поэтому работаем вместо них мы. Один раз – даже включенными в кислородно-изолирующие приборы после сработки пожарной сигнализации.

Концепция программно-определяемых ЦОД появилась очень давно. Тем не менее, на практике мало что было реализовано и работало, разве что у IaaS-провайдеров. По факту чаще всего была обычная виртуализация. Теперь же можно шагнуть дальше на стеке VMware, а можно реализовать всё на Openstack — тут придётся думать головой и взвешивать много факторов.

За прошлый год мы увидели очень существенный технологический скачок в плане применения SDDC в обычной сисадминской практике. Теперь есть проверенные технологии и виртуализации сетей, и виртуализации систем хранения данных в виде нормальных инструментов. И от этого можно получить реальную пользу для бизнеса.

Зачем это нужно? Очень просто: начиная с автоматизации рутины, отвязывания зависимости от физического железа; точно знать потребление каждого ресурса; знать до копейки, и заканчивая тем куда и как идут деньги в IT-бюджете. Последние две причины лежат немного за пределами обычных админских целей, но очень полезны для CIO или сисадминов среднего и крупного бизнеса, рассчитывающих на полное взаимопонимание с коммерческим отделом. И премию, чего уж там.

Современные сети и дата-центры бодро шагают к полной и тотальной программно-определяемой схеме, когда фактически неважно, какое железо вы напихаете внутрь, всё будет на софте. У сотовых операторов это началось с того, что им не хотелось ставить по 20 антенн на дом (у них узлы переконфигурируются, меняют частоты и параметры просто обновлением конфига), а в дата-центрах сначала с виртуализации серверов, которая теперь мастхэв, а потом продолжилось и виртуализацией хранилищ.

Но вернёмся в Россию 2015 года. Ниже я покажу, как «из подручных средств» (x86 машин и любых «хранилок») сэкономить денег, повысить надёжность и решить ещё ряд типовых для сисадминов среднего и крупного бизнеса задач.


На этой схеме видны обе архитектуры, о которых пойдет речь. SDS — два красных контроллера в центре с любым бекэндом, от внутренних дисков до FC полок и облаков. И виртуальный SAN, на схеме Hyper-converged storage.

Самое главное:

• Вам плевать, что за железо стоит: диски, SSD, зоопарк производителей, старые и новые модели… — всё это отдаётся оркестирующему софту, и он приводит это к той виртуальной архитектуре, которая вам нужна в итоге. Грубо говоря, объединяет в один том или позволяет нарезать как вам удобно.
• Вам плевать, какие интерфейсы у этих систем. SDS построится сверху.
• Вам плевать, какие функции ваши хранилки могли, а какие не могли (опять же, теперь они могут то, что надо: решает софт сверху).

Заодно рассмотрим пару типовых задач с конкретным железом и ценами.

Страховые — третьи после банков и сотовых операторов потребители «тяжелого» IT-железа. На момент начала работ ситуация была такая: в офисе одной компании стояла их центральная серверная (напоминающая небольшой машзал дата-центра), и в ней, в целом, всё прекрасно работало.

Проблема была в том, что место под стойки (и в самих стойках) в серверной кончилось ещё 2 года назад. В других двух ЦОДах место было, а вот здесь — нет.

Вторая проблема в том, что основная база продакшна лежала на 149 томах, физически — как швейцарский сыр в серверах. Обусловлено это было тем, что когда требовалось её увеличить, находили первую свободную дырку в физических дисках и пихали туда. Между томами базы могли находиться базы других проектов, ПО, разные временные файлы и так далее. В общем, нужно было наводить порядок.

Один из пожилых инженеров решил, что у него в руках сверхсовременный секретный кластер для 3D-расчётов. Мы были жестоки и не стали говорить, что это всего лишь тонкий клиент.

VDI — это инфраструктура виртуальных рабочих столов. В отличие от «обычного» терминального доступа, упрощая, речь идёт не о нескольких одновременных пользовательских сессиях на одном сервере с операционной системой, а о нескольких виртуальных машинах на физическом сервере. Каждый пользователь получает свой собственный виртуальный ПК, куда может подключаться хоть с телефона.

Есть миф, что VDI — это всегда очень дорого. В целом это была правда до последних лет. В моей практике только в прошлом году VDI начали использовать, как решение для экономии на инфраструктуре. До этого VDI чаще всего была необходимыми затратами на безопасность корпоративных данных.

Не так давно появился пример снижения стоимости рабочего места: есть конструкторское бюро в Москве, и есть заводы по России. Чертежи поступают на заводы в 3D-формате, необходим было вносить небольшие изменения. На заводах не могли вносить изменения без дорогостоящей инфраструктуры. Закупалась очень мощная машина серверного уровня, на неё ставился дорогой комплект ПО. Затем эта машина и это ПО поддерживались администраторами из головной организации — при сложных случаях доходило до неблизкого выезда. С внедрением VDI всё стало происходить в дата-центре в Москве.

Кабель Mellanox MC2609125-005

В нашем случае Infiniband работал бы в пять раз быстрее, чем Ethernet, а стоил бы столько же. Сложность была только одна – всё это нужно было делать без прерывания облачных сервисов в ЦОДе. Ну, это примерно как пересобрать двигатель автомобиля во время движения.

В России таких проектов попросту не было. Все, кто до сих пор пытались переходить с Ethernet на Infiniband, так или иначе останавливали свою инфраструктуру на сутки-двое. У нас же в облачном «плече», которое находится в дата-центре на Волочаевской-1, около 60 крупных заказчиков (включая банки, розницу, страховые и объекты критичной инфраструктуры) на почти 500 виртуальных машинах, размещенных на примерно сотне физических серверов. Мы первые в стране получили опыт перестроения стораджевой и сетевой инфраструктуры без даунтаймов и немного гордимся этим.


Infiniband-кабель на входе в сервер

В итоге пропускная способность каналов связи между серверами «облака» выросла с 10 Гб/сек до 56 Гб/сек.

Что такое гибридное облако?
Гибридное или конвергентное облако — это сочетание минимум одного публичного облака с не менее чем одним частным облаком. Например, это связка вашего ЦОДа в офисе и облака Amazon. Виртуальные машины Amazon при этом могут быть видны в одной подсети с вашими физическими.



Для чего это делается?
Основная причина – экономия и скорость. Можно выделить себе любое количество ресурсов из публичного облака на любое время, а потом просто отключить ненужную мощность. С учётом всех деталей стоимость аренды мощностей в публичном облаке получается примерно такой же, как при покупке реального оборудования – но в первом случае все расходы операционные, а квантование не по трем годам (с заделом на амортизацию), а по секунде.

Вот так выглядела транспортная коробка, которая к нам приехала. Железка стоит по прайсу как 3-4 квартиры в Москве.

В начале марта мы проводили открытый тест-драйв новой flash СХД от EMC — EMC XtremIO. Система считается одной из самых быстрых в мире СХД. Особенность — inline-дедупликация на борту. Железо дорогое, но как сказал один из наших заказчиков: «Нифига себе, я только на лицензиях буду экономить 3 миллиона долларов в год». Потому что массив позволяет сократиться с 128 ядер до 64, а лицензии часто считаются именно по ядрам. И ещё, особенно интересна система будет тем, кто работает с виртуальными средами, кто ищет способ уменьшить время отклика СХД и у кого есть проблемы с производительностью.

В меню были включены следующие тесты: IOPS 100% read, random 4k; IOPS 50% read 50% write, random 4k; IOPS 100% write, random 4k. Проводились с помощью IOmeter. Еще пробовали систему в боевом режиме, смотрели ее реакцию на отказы компонентов (вытаскивали диск «на живую» под высокой нагрузкой, перезагружали контроллер, отключали питание по одному из вводов, выключали UPS) и пиковую нагрузку.
В общем, было на что посмотреть. Подробности ниже.

На днях мы первые в России получили новую флэш СХД от EMC. И по уже сложившейся традиции в рамках тест-драйва 4 марта я положу на стол перед вами 6 юнитов.

Заявленная производительность системы — 250.000 IOPS для случайного чтения блоками 4к. При этой нагрузке среднее время отклика массива не должно превышать 1мс. Вот и проверим, и заодно повытаскиваем немного запчастей «на живую» прямо во время высоких нагрузок.


СХД EMC XtremIO приехала к нам вот в такой скромной коробке

Системы хранения данных ЕМС — это как хорошая немецкая машина. Знаешь, что немного переплачиваешь за бренд, но безопасность данных и чуткость управления обеспечены. И сервис: премиальная гарантия, например, доставка запчастей в течение 4 часов с выездом инженера в случае необходимости.

Относительно недавно вышла новая линейка оборудования, флагман которой позволяет поставить до 1500 дисков — итого на 6 ПБ. Ниже её обзор с кратким ликбезом про СХД в принципе. И рассказ о том, как реально хорошие вещи сделали ещё лучше.

Производитель сделал три смелых маркетинговых заявления:

• Системе всё равно, запись или чтение – скорость будет одинаковой.
• При всём этом время отклика стабильно 250-500 микросекунд даже после месяца постоянной нагрузки.
• Можно вынимать любые комплектующие «на горячую» — системе ничего не будет.

Для начала мы разбили пространство на несколько десятков виртуальных томов и запустили десяток приложений, делающих запись блоками по 4 килобайта в режиме 20/80 (80% записи). А затем продержали модуль под нагрузкой 5 дней. Выяснилось, что маркетинг соврал: скорость записи была очень далека от заявленной в презентации 1 мс и составляла в среднем всего 0,4 мс (при 40/60 дело доходило и до 0,25).

Затем при тест-драйве в офисе для IT-директоров у нас начались настоящие проблемы. Дело в том, что я в приглашении упомянул, что как-то во время демонстрации Disaster Recovery-решения мы вырубили стойку в ЦОДе «на живую», после чего просто не осталось шансов закончить мероприятие мирно. Аудитория ждала крови, и мне пришлось позвать сервис-инженера с отвёрткой.

При 450k IOPS я начал с вытаскивания двух вентиляторов. Это почти не впечатлило аудиторию, потому что хотелось добраться до одного из двух контроллеров и посмотреть, что Violin скажет на это. Минус два вентилятора заставили систему страшно зарычать (она автоматически ускорила остальные), поэтому дальше я услышал только что-то вроде «твою мать», когда инженер просто взял и выдернул один из двух контроллеров, и железка «просела» только на треть по скорости.

Осторожно, трафик: под катом схемы и скриншоты.

Зоны озвучивания, фрагмент схемы

Храмы, синагоги, церкви, костёлы, мечети и прочие крайне специфические с точки зрения акустики объекты озвучиваются весьма нетривиально.

Большое время реверберации, отсутствие возможности изменить архитектурную акустику (и иногда даже установить микрофоны), необходимость учесть культурные и исторические особенности, а еще обучение использованию этой системы персонала без технического образования – неполный перечень причин сложностей такого проекта.

Задача озвучивания собора была для нас не совсем обычной – раньше мы не занимались такого рода проектами. Драматизма ситуации придавал тот факт, что освящение собора должно было состояться через несколько месяцев.

Когда мы пришли на место в первый раз, как раз шла утренняя служба. С амвона служитель читал молитвы. В радиусе 4-5 метров мы разбирали слова, но как только отходили дальше от священника, все звуки сливались в ровный гул из-за нескончаемого переходного процесса. Понятно было, что при большом скоплении людей речь будет совсем не различимой.

Привет!
Пощупать и потестить железо стоимостью миллион долларов удаётся не каждый день. Так вот, у нас есть новая система Violin Memory, и я приглашаю вас на тест-драйв. Да, кстати, это именно у нас на одном из таких тест-драйвов на спор отключали рубильником работающую стойку в ЦОДе. Но в этот раз мы так делать не будем.

Что это за железо парой слов?

Это СХД, которая держит время отклика на чтение и запись около 1 мс при высокой нагрузке и при этом даёт самую маленькую цену на операцию I/O в известной галактике. Основное жизненное призвание – убирать «бутылочные горлышки» в куче случаев.

<sub>Вход на выставку: соединение 10 проекторов на панорамном экране.


Стенд с 3D изображением в воздухе.</sub>

Пару недель назад в Амстердаме прошла ежегодная выставка «Integrated Systems Europe». Это второе по масштабу событие в мире, где демонстрируются аудиовизуальные решения: экраны, проекторы и так далее. Производители со всего мира готовятся к ней и приезжают с новинками. Гости выставки – в основном, IT-специалисты крупных компаний, интеграторы и их очень крупные клиенты, которым нужны решения для крупных проектов.

В этом году на выставке трендом были новые технологии в производстве экранов: тут и светодиодные экраны с очень малым шагом пикселя, и лазерные проекторы, и экраны различной формы (треугольные, например). Ниже – рассказ о самой выставке и краткие обзоры представленных там новинок.

Осторожно, трафик: дальше много фотографий.

^{Авария в первом дата-центре и автоматический перезапуск сервисов в другом}

Виртуализация — одна из моих любимых тем. Дело в том, что сейчас можно практически полностью забыть про используемое железо и организовать, например, систему хранения данных в виде «логического» юнита, который умеет взаимодействовать с информацией по простым правилам. При этом все процессы между виртуальным юнитом и реальным железом в разных ЦОДах лежат на системе виртуализации и не видны приложениям.

Это даёт кучу преимуществ, но и ставит ряд новых проблем: например, есть вопрос обеспечения консистентности данных при синхронной репликации, которая накладывает ограничения на расстояния между узлами.

К примеру — скорость света становится реальным физическим барьером, который не даёт заказчику поставить второй ЦОД дальше 40-50, а то и меньше, километров от первого.

Но давайте начнём с самого начала — как работает виртуализация систем хранения, зачем оно всё надо, и какие задачи решаются. И главное — где конкретно вы сможете выиграть и как.