В одном строительном гипермаркете есть 18 касс, и надо уметь делать так, чтобы кассиры открывали их вовремя, чтобы очередь не была больше 4 человек. Ну, и чтобы лишние кассы не простаивали открытыми. Это распознавание людей (подсчёт покупателей) с видео, аналитика по погоде и другим факторам и предсказание потока. Плюс много другой забавной статистики.


Пример очереди перед кассой — картинка обрезанная и замыленная по просьбе безопасников, по факту очередь мы видим длиннее, чем на фото.

В рознице первым вопросом стало то, как отличить прораба от тележки. И это было ничуть не смешно.

Да, и тем, кто переживал за кота-терминатора из прошлого поста — его поймали. Детали в конце.

В какой-то момент у нас на пороге появился человек в штатском с целым жёстким диском фотографий одного инженерного объекта (назовём его для определённости путепроводом через железную дорогу). Задача сводилась к традиционному «когда-то давно строили, а потом потеряли исходную документацию», и нужно восстановить проект с погрешностью в сантиметр-два.

Чтобы понять, насколько хорошую точность можно получить в архитектуре и инженерных изысканиях подобного рода, мы решили отснять свой 11-этажный офис и создать 3D-модель. В конце работы мы получили модель здания и замерили по ней пару окон. Потом пошли и измерили эти же окна в реальном мире — среднее расхождение было в пределах сантиметра, максимум — двух.

Кстати, в чём-то похожая задача была у одного из наших партнёров — нужно было снять карьер площадью 470 Га и:

1. Определить объёмы выработки породы.
2. Подсчитать объём склада продукции.
3. Получить поверхность для уточнения уровня гидроотвала.
4. Получить 3D-модель всей территории.

Часть маршрутов

Её решили с помощью беспилотника, длинных гвоздей, GPS-приёмника и двух пачек пластиковых тарелок за 5 рублей за штуку.

Шли по трассе от Магадана на Якутск, везли комплектующие для одного дата-центра. Холода в этих краях стоят такие, что машины не глушат. Потому что до весны уже не заведёшь. Машины надо ставить в тёплые гаражи или ангары. Мы уже под вечер как раз нашли такой ангар и стали стучать. Открывает сильно поддатый хозяин, такой простой сибирский мужик в ватнике и ушанке:
— Здравствуйте, можно у вас машину поставить?
— Не. Идите отсюда, я вас не знаю!
— Да ладно тебе, мужик, мы же тебе денег дадим.
Мужик вынимает из кармана котлету пятитысячных сантиметров пять толщиной и сообщает:
— Да я те, ик, сам денег дам ща! Вот бухнёшь со мной — тогда поставим.

Обязательства по госконтракту для этого дата-центра мы тогда выполнили.

А вы заходите внутрь, буду дальше рассказывать наши байки. Кстати, да, кто беспокоился за нашу крысу (ещё живую на фотографии в прошлом посте) — хоть ей и прилетело 380 В, но она оклемалась и начала немного ходить. Мы её отпоили сладким чаем и отпустили, убегала она уже весело. Правда, что с ней было дальше, не знаем.

В 2013 году рынок мобильной разработки для бизнеса оценивался в 245 миллионов долларов. В 2016 году наш рынок должен был составить $1 млрд, но, скорее всего, будет чуть ниже из-за ситуации с экономикой и из-за санкций. По некоторым оценкам, это примерно половина от общего рынка мобильной разработки.

Люди привыкают работать с планшетов и телефонов, привыкают иметь доступ к корпоративным сервисам в кафе, в самолёте, в машине — а работодатели хотят, чтобы сотрудники были на связи и за пределами офиса. Отсюда и такой рост направления.

Российский сегмент — это ещё и очень много «доработок напильником», потому что готовые решения под наш большой бизнес не подходят. Плюс море интеграции с зоопарками корпоративных систем, это тоже большая доля разработки. При этом сегодня собственных приложений не имеет и половина производственных компаний, ретейлеров и госорганизаций в России. Пример сложного приложения вот здесь.

Ниже — более технический обзор ситуации и ряд грабель. Начиная с таких очевидных, как тот факт, что если ты занимаешься атомной энергетикой, наверное, не стоит делать хранилище документов через Google.Drive.

Мы в КРОК запустили собственную публичную облачную платформу в России одними из первых, еще в конце 2009 года. Нам нужен был рост в геометрической прогрессии из года в год. Чтобы обеспечить подобную динамику, архитектура облачной платформы должна была быть сверхгибкой и масштабируемой, а сама платформа — хорошо управляемой. В какой-то момент мы начали упираться в архитектурные ограничения, заложенные еще на заре развития облака, а именно в подсистему хранения данных.

Одна из важнейших задач роста — обеспечение потребностей заказчиков не только в части объемов дисковой емкости, но и в части гарантированной производительности используемых дисков. Нужно было избежать взаимного влияния соседей по СХД, сделать ситуацию полностью управляемой, дать гарантии по производительности дисков в рамках SLA в пределах от 400 IOPS до 100 000 IOPS на диск.

Ко всему прочему тема с гарантированными дисками в облаке была подогрета и законом о персональных данных, вступающим в силу с 1 сентября 2015 года. Многие заказчики размещали и размещают свои ИТ-сервисы за границей, зачастую — на выделенном физическом высокопроизводительном оборудовании в ЦОДе провайдеров. Данные теперь нужно перенести на территорию России, но от высокой гарантированной производительности дисков отказываться совсем заказчикам не хочется или вовсе нельзя, а ждать поставки оборудования в РФ уже нет возможности. Облако в этом случае является, пожалуй, одним и, возможно, единственным способом успеть перенести данные в РФ и получить аналогичные технические параметры производительности, как на используемом ранее физическом оборудовании провайдера.

Любой оператор персональных данных, обрабатывающий данные не в России, может попасть под блокировку.

Ниже я хочу рассказать про некоторые моменты миграции, с которыми мы уже сталкивались на практике при переносе клиентов в Россию на нашу инфраструктуру. Конечно же, первый вопрос будет про законы, второй — про то, как данные защищены от изъятия.

Кабель Mellanox MC2609125-005

В нашем случае Infiniband работал бы в пять раз быстрее, чем Ethernet, а стоил бы столько же. Сложность была только одна – всё это нужно было делать без прерывания облачных сервисов в ЦОДе. Ну, это примерно как пересобрать двигатель автомобиля во время движения.

В России таких проектов попросту не было. Все, кто до сих пор пытались переходить с Ethernet на Infiniband, так или иначе останавливали свою инфраструктуру на сутки-двое. У нас же в облачном «плече», которое находится в дата-центре на Волочаевской-1, около 60 крупных заказчиков (включая банки, розницу, страховые и объекты критичной инфраструктуры) на почти 500 виртуальных машинах, размещенных на примерно сотне физических серверов. Мы первые в стране получили опыт перестроения стораджевой и сетевой инфраструктуры без даунтаймов и немного гордимся этим.


Infiniband-кабель на входе в сервер

В итоге пропускная способность каналов связи между серверами «облака» выросла с 10 Гб/сек до 56 Гб/сек.

На день сисадмина мы решили раскопать архивные фотографии. Их не очень много, телефонов с камерами тогда не было; снимать нужно было специально и по делу. Ниже – немного старых фотографий и раритеты с нашего склада.


Угадайте год по фотографии


Брелки со склада

Что такое гибридное облако?
Гибридное или конвергентное облако — это сочетание минимум одного публичного облака с не менее чем одним частным облаком. Например, это связка вашего ЦОДа в офисе и облака Amazon. Виртуальные машины Amazon при этом могут быть видны в одной подсети с вашими физическими.



Для чего это делается?
Основная причина – экономия и скорость. Можно выделить себе любое количество ресурсов из публичного облака на любое время, а потом просто отключить ненужную мощность. С учётом всех деталей стоимость аренды мощностей в публичном облаке получается примерно такой же, как при покупке реального оборудования – но в первом случае все расходы операционные, а квантование не по трем годам (с заделом на амортизацию), а по секунде.

Есть задачи, которые можно посмотреть на готовой инфраструктуре в крупной компании. Большое количество программ Enterprise-уровня пишется под конкретную систему или платформу — и поэтому они так малоизвестны. Точнее, известны по листовкам, а в них, кажется, никто не пишет, что у них слабо работает.

Все говорят, что все работает идеально. Читаешь, и чувствуешь, в каком прекрасном мире живешь. Аж на слезу прошибает.

Ниже я простыми словами объясняю, как и что работает для крупных компаний и какие бывают масштабные задачи на примере центра решений Symantec, где развернут симулятор инфраструктуры крупного бизнеса. Бэкап, безопасность, работа с почтой, отслеживание проблем на тысячах узлов и так далее.

Можно прийти и протестировать, на каком уровне маркетологи честны.
Но самое главное, можно понять, насколько та или иная система применима в вашем конкретном случае, а не покупать кота в мешке.

Прототип планшета для связи оперативных сотрудников Паралимпиады

Раньше всё делалось рациями — дёшево, сердито и не очень эффективно. Сейчас IT пришло и в спорт, и, кроме портала, отдающего результаты всех соревнований с точностью до секунды, появились современные виды связи.

Паралимпийские игры — наверное, один из наиболее интересных примеров того, как делаются удалённые рабочие места для сотрудников разных организаций. Мы разработали программно-аппаратный комплекс, состоящий из софта в “облаке КРОК”, специальной оболочки для планшетов и устройств от известного производителя, доработанных под задачу.

Мобильные сотрудники брали планшеты и отправлялись на площадки проведения соревнований. Их можно было встретить на стадионе, на лыжне, Малой ледовой арене и так далее. Сотрудники Штаба расположились в трех Паралимпийских деревнях и работали удаленно друг от друга. И ещё была наша поддержка, способная удалённо конфигурировать планшеты и решать проблемы.

У нас была задача соорудить условный макет спортцентра, оснащенный самыми современными IT-технологиями. Результат мы показывали на выставке «СПОРТ».

Вот что мы собрали в одном комплексе:

• Светодиодный навигационный пол спортзала.
• Сбор данных с браслетов (с RFID-метками).
• Инструкции к тренажерам в дополненной реальности.
• Управление контентом.
• Автоматические системы фиксации очков на турнирах.
• Различные проекционные системы.
• Система телемедицины.
• Автономное управление инженерными системами.
• Безопасность, видеоаналитика и протиповожарные меры.
• Ситуационный центр для управленцев: наглядные экономические и инженерные показатели, прогнозные оценки для принятия решений и пр.

Пойдёмте, покажу.

У нас тут небольшой праздник. Red Hat, Inc. (NYSE:RHT), компания, которая делает довольно известный софт с открытым исходным кодом, присвоила нам статус сертифицированного поставщика облачных услуг. Мы получили этот статус по трем причинам — во-первых, поскольку мы российский лидер в области создания ИТ-инфраструктур и системной интеграции, во-вторых, мы соответствуем требованиям Red Hat к построению публичных «облаков» (в том числе и нашего публичного «облака»), и в-третьих, потому что уже давно и тесно дружим с *nix-экосистемой.

Что это значит?

Участие в программе предоставляет КРОК возможность оказывать облачные услуги корпоративного класса с использованием ПО Red Hat. Официально, круто и хоть в госучреждениях. Это очень важно. Мы можем официально поставлять заказчикам продукт Red Hat Enterprise Linux.

Как давно мы стали красноглазиками?

С Red Hat мы сотрудничаем уже около 10 лет. Делали несколько совместных проектов для крупных российских компаний. Из самого большого — наш Виртуальный дата-центр, состоящий из двух физических ЦОДов. В нём сейчас чуть более 50 весьма крупных организаций.

На днях мы первые в России получили новую флэш СХД от EMC. И по уже сложившейся традиции в рамках тест-драйва 4 марта я положу на стол перед вами 6 юнитов.

Заявленная производительность системы — 250.000 IOPS для случайного чтения блоками 4к. При этой нагрузке среднее время отклика массива не должно превышать 1мс. Вот и проверим, и заодно повытаскиваем немного запчастей «на живую» прямо во время высоких нагрузок.


СХД EMC XtremIO приехала к нам вот в такой скромной коробке

Привет! Я принесла картинок про российский рынок IT. Разных. Много. Осторожно, трафик.



Разница между использованием частного и публичного «облаков» чаще всего заключается в том, что публичное дешевле и проще в обслуживании, а частное – «под боком» (что часто важно по юридическим причинам). Например, банковские приложения критичного уровня будут почти наверняка размещены в частном, а тестовые среды могут разворачиваться и в публичном.

К нам недавно пришел заказчик и сказал: нужно перевести работу всей компании в «облако». Желательно вчера. В общем, как и все авральные проекты — задача мечты, потому что работы много, а времени нет.

По сути, нужно было с нуля спроектировать архитектуру IT и перенести туда данные сотрудников. Со стороны заказчика — исполнительный-директор и его напарник, около 100 человек пользователей на 4 площадках, с нашей стороны — четыре небольшие рабочие группы. Одна занималась терминальным доступом, вторая — отвечала за почту. Третья занималась инфраструктурой (VPN, сетевое взаимодействие), и четвертая настройкой бэкапа.

Справились за пять календарных дней — за среду провели полный аудит ИТ-инфраструктуры компании Таврос, разработали основные архитектурные решения и выбрали технические средства для их реализации. Следующие 2 дня специалисты КРОК активно работали над развертыванием соответствующей требованиям заказчика инфраструктуры. В субботу и воскресенье допиливали мелочи и тестировали. В понедельник пользователи компании вышли на работу и ничего не заметили, но большинство ИТ-объектов уже были в нашем «облаке».

На графике – тесты производительности виртуальных машин пяти крупнейших игроков на рынке IaaS-«облаков» от cloudspectator.com и замер скорости нашего «облака» КРОК по той же методике. Разбивка по дням с 20.06.13 по 29.06.13.

Несмотря на наш приятный высокий результат, выводы данного тестирования показались нам несколько односторонними. Да и сама задача вызвала много споров среди наших коллег: ведь оценить производительность «облака» — вопрос нетривиальный. И мы решили разобраться поглубже.

«Облако» состоит, грубо говоря, из оборудования, которое позволяет этому «облаку» работать, и оборудования на котором запускаются виртуальные машины заказчиков. Производительность самих виртуалок зависит от производительности тех физических серверов, на которых они запущены. Единого стандарта нет: все на рынке предлагают совершенно абстрактные виртуальные процессоры, соответственно, совершенно разные конфигурации этих виртуралок.

Выбор облачного провайдера — сложная задача. В этом посте я расскажу, как к ней подступиться, на что обратить внимание в первую очередь, где может быть скрыт подвох, и как вообще построить общение с провайдером. Ниже — о самом сложном и комплексном сценарии развития событий, переносе всей ИТ-инфраструктуры в облако. Давайте рассмотрим перенос в «облако» критической части ИТ-инфраструктуры, недоступность которой в течение даже нескольких часов может нанести существенный ущерб бизнесу компании.

Памятка

Как отсеять хостинг провайдеров

1. Используется ли виртуализация серверов в принципе?
2. Используется ли виртуализация систем хранения данных или виртуализация сетей? Это необязательные требования, но они свидетельствуют о технологическом уровне облачного провайдера.
3. Как управлять услугами? Есть ли портал самообслуживания? Можно ли самому запускать новые серверы, управлять производительностью уже запущенных? Можно ли добавить диски, настроить внутреннюю адресацию и управлять маршрутизацией? Можно ли самому настраивать расписание резервного копирования и запускать задания по восстановлению данных? И т.д.
4. Как учитываются ресурсы? Есть ли автоматизированный биллинг (посекундный-почасовой)? Или все учитывается руками?

Площадка

1. Где расположен ЦОД: за границей или в РФ? Насколько далеко от вашего офиса и второго ЦОДа, если он есть? Задержки?
2. Кому принадлежит ЦОД? Можно ли войти посмотреть?
3. Он сертифицирован? Какие были аварии на этой площадке ранее?
4. Какие провайдеры связи присутствуют на площадке?
5. Как можно будет подключиться к «облаку»?

Услуги «облака»

1. Что такое vCPU (виртуальное ядро)? Чему оно равняется: целому физическому ядру процессора или, например, его четверти?
2. Какие используются дисковые ресурсы? Локальные или подключенные по SAN?
3. Как резервируются каналы до Интернет?
4. Что делать, если стандартного функционала «облака» не хватает? Можно ли, например, подключить к «облаку» специализированное сетевое оборудование или машины не x64 архитектуры и так далее?
5. Доступен ли гибридный режим работы? Как сделана интеграция в этом случае?
6. Есть ли сервис резервного копирования?
7. Как средства ИБ доступны в базе, какие нужно отдельно заказывать?
8. При необходимости построения HA (high availability) или DR (disaster recovery) решений возможно ли разнести части размещаемого ИТ-сервиса между двумя ЦОД? Есть ли у провайдера второе облако для построения подобных решений?

Поддержка

1. Отвечает ли поддержка 24/7, быстро и по делу, а не «мы разберёмся позже»?
2. Язык — русский и английский?
3. Как далеко можно выходить за SLA, если очень нужно? (Как правило, на Западе — ни шагу в сторону).
4. Нужно ли обращаться в поддержку за мониторингом ресурсов и баланса, или все данные доступны через портал самообслуживания?
5. Есть ли демо-режим? Насколько он отличается от «боевого» и чем конкретно?

^{Авария в первом дата-центре и автоматический перезапуск сервисов в другом}

Виртуализация — одна из моих любимых тем. Дело в том, что сейчас можно практически полностью забыть про используемое железо и организовать, например, систему хранения данных в виде «логического» юнита, который умеет взаимодействовать с информацией по простым правилам. При этом все процессы между виртуальным юнитом и реальным железом в разных ЦОДах лежат на системе виртуализации и не видны приложениям.

Это даёт кучу преимуществ, но и ставит ряд новых проблем: например, есть вопрос обеспечения консистентности данных при синхронной репликации, которая накладывает ограничения на расстояния между узлами.

К примеру — скорость света становится реальным физическим барьером, который не даёт заказчику поставить второй ЦОД дальше 40-50, а то и меньше, километров от первого.

Но давайте начнём с самого начала — как работает виртуализация систем хранения, зачем оно всё надо, и какие задачи решаются. И главное — где конкретно вы сможете выиграть и как.

Вы едете в лифте. Перед вами экран с информацией. Присмотримся к нему повнимательнее. Для начала проверим, куда идёт кабель. Если открыть люк сверху, то можно увидеть, что прямо на крыше лифта лежит системный блок в специальном исполнении с некоторой дополнительной защитой. И без вентиляторов. Там стоит какая-нибудь довольно простая Windows (возможно — embedded-версия, поставленная ещё на заводе) и Wi-Fi модуль. Где-то неподалёку в шахте найдётся и роутер, подключённый кабелем к локальной сети.

В кабине лифт может быть ещё и камера, картинка с которой обрабатывается специальным софтом. Что, в свою очередь, позволяет распознать если не лицо, то по крайней мере, пол и возраст зашедшего, а затем выбирать и показывать информацию с учетом этих данных.

Это — часть системы дистрибуции контента. Конкретно этот узел может ездить вместе с лифтом во Владивостоке, а админить его может человек, сидящий где-то далеко, например, в Москве.