КРОК — одна из самых больших в России компаний по построению IT-инфраструктур. У нас в год 2000+ проектов, из которых 200 штук — с бюджетом больше миллиона. Долларов. Внутри этой огромной компании есть мой небольшой отдел, который занимается тем, что ставит open source для крупных заказчиков.

Нередко приходится сталкиваться с мнением, что open source — это кривые поделки гаражных программистов. Мы работаем только с нормальным рабочим ПО; помогаем подобрать оптимальные варианты решений для инфраструктуры и обеспечиваем поддержку там, где производитель по очевидным причинам сделать этого не может. Это — не самая простая работа, в основном, связанная с мифами и легендами про открытое ПО.

Но к чёрту детали, давайте покажу, что и как можно поставить на рабочие места, сервера, в облако, для СУБД, VDI и серверов приложений. И про галстук.

На голове моего коллеги Влада активные 3D-очки (с активным затвором) метками для отслеживания поворота головы внутри виртуальной реальности 3D-куба — турбины двигателя «Боинга».


Другая моя коллега разбирает 3D-манипулятором нейрон.

В прошлом году мы объявляли первый набор, понимая, что в России ещё не было такого опыта. Сегодня же у каждого нашего выпускника есть чёткое применение полученных знаний: кто-то будет создавать 3D-модели для архитектуры, строительства, медицины и инженерии, а кто-то – уже создаёт интерактивные приложения для обучения, презентаций и развлечений.

Ниже я расскажу, что есть у нас в центре 3D-решений, покажу оборудование, с которым можно работать, расскажу про обучение и о том, как попасть в бесплатную группу нашей школы, если вы студент.

Когда вы звоните в колл-центр, вас внимательно слушает, а иногда и отвечает, не только оператор и товарищ майор, но и робот-аналитик. Этот хитрый робот умеет распознавать нужные ключевые слова в вашей речи, но и производить полнотекстовое распознавание речи, и на основании этого всего, делать далеко идущие выводы.



Анализировать записи можно как «на лету» (что делается редко), так и постфактум, например, разыскивая конкретные звонки для анализа живым человеком. Я работал с несколькими программно-аппаратными решениями для этого, и сейчас поделюсь опытом.


Автоматическое распознавание уже начинает справляться с русским языком, за исключением некоторых особо сложных случаев

Сразу отмечу — да, эти решения могут сочетаться с определением конкретного человека по «голосовому отпечатку пальца», но это немного другая история и подробно останавливаться на этом здесь я не буду.

Кабель Mellanox MC2609125-005

В нашем случае Infiniband работал бы в пять раз быстрее, чем Ethernet, а стоил бы столько же. Сложность была только одна – всё это нужно было делать без прерывания облачных сервисов в ЦОДе. Ну, это примерно как пересобрать двигатель автомобиля во время движения.

В России таких проектов попросту не было. Все, кто до сих пор пытались переходить с Ethernet на Infiniband, так или иначе останавливали свою инфраструктуру на сутки-двое. У нас же в облачном «плече», которое находится в дата-центре на Волочаевской-1, около 60 крупных заказчиков (включая банки, розницу, страховые и объекты критичной инфраструктуры) на почти 500 виртуальных машинах, размещенных на примерно сотне физических серверов. Мы первые в стране получили опыт перестроения стораджевой и сетевой инфраструктуры без даунтаймов и немного гордимся этим.


Infiniband-кабель на входе в сервер

В итоге пропускная способность каналов связи между серверами «облака» выросла с 10 Гб/сек до 56 Гб/сек.

Привет!
Меня зовут Вика, и я работаю сервисным IT-инженером в КРОК, занимаюсь телефонией и критичными колл-центровыми решениями.


Иногда тонкие пальцы – это плюс



Сейчас лето, поэтому в офис иногда доезжаю от метро на лонгборде. Правда, пока только учусь.

Когда знакомые узнают, кто я и что делаю, сразу возникает куча вопросов начиная от «как там работается в большой компании?» и заканчивая «а как ты сервера таскаешь?». Постараюсь ответить ниже.

В прошлый раз я рассказал вам, не побоюсь этого слова, кровавую историю, как мы срочно спасали сначала инсталляцию, а потом уже и данные. И такие истории лишний раз дают понять важность наличия бэкапа и правильность его настройки. Сегодня я хочу суммировать свои мысли, накопленные за последние 10 лет опыта работы в системном интеграторе.

1. Бэкап должен быть всегда.
Как бы не развивались технологии, старая добрая резервная копия никогда не потеряет своей ценности, в трудную минуту сохраняя нам нервы, работу, премию, а также успокоительные средства. Она, в случае чего, позволяет нам не паниковать, действовать взвешено, допуская разумный риск.
Даже если в вашем сервере все компоненты дублированы, а данные лежат на дорогом массиве с избыточностью, отгоните от себя ложное чувство безопасности. Никто не застрахован от логических ошибок и человеческого фактора.

DL360 — сервер на Pentium I под горячую замену. Где-то далеко в Сибири под постоянной нагрузкой уже много лет трудится его брат-близнец. Если он выйдет из строя, у нас есть замена, позволяющая просто продолжить работу без кардинальной перенастройки


А вот с такой картины часто начинается утро на выезде

Доброе утро! Меня зовут Александр, я работаю руководителем сервисной команды КРОК.

По всей стране есть много объектов, где выход из строя кластера сразу ведёт к попаданию местного главного в телевизор. Это разные НИИ, промышленные предприятия, узлы банков, страховых, объекты нефтяных компаний, аэропорты и так далее. А мы ставим туда железо, софт и всё это держим на поддержке.

Начнём с того, что монтажей без приключений почти не бывает. Хорошо, если нам просто забыли дать питание или сеть. Хуже, когда серверная стойка стоит снаружи здания, потому что кто-то неправильно указал размеры двери. Ещё бывают моменты вроде: «Парни, мы всё подготовили, подключили, только есть нюанс — ваш сервер при разгрузке уронили. Ну, всего пару раз». Сейчас я расскажу и покажу, как выглядит наша работа.

Это история одного из самых запомнившихся случаев в моей инженерной практике. По понятным причинам я поменял имена, места и некоторые узнаваемые детали, чтобы нельзя было точно определить заказчика и других участников истории.


Вот так выглядит ленточное хранилище (наше было поменьше) и библиотечный робот (наш такой же). Китаец в комплект не входит.

Часть 1. Коробка

Помню, стояли последние дни ноября. Уже думая об окончании рабочего дня, я планировал свой вечер, когда вдруг мне сообщили, что в славном сибирском городе N у нашего заказчика сломалась ленточная библиотека. Запчасть сразу же отправили транспортной компанией, но вот уже 3 дня, как она все еще была в пути. Транспортная компания невнятно объяснялась и хмыкала в телефон, а заказчик стал не в шутку нервничать. Прогнозы были неопределенные, поэтому было принято решение везти еще одну запчасть своими силами на самолете. Сотрудник склада вручил мне габаритную коробку весом килограмм десять, обклеенную штрих-кодами и стикерами, и радостно хлопнул меня по плечу со словами: «Только не вздумай в багаж сдавать — помнут».

Коробка меня, безусловно, беспокоила, но не меньшее беспокойство мне внушал пакет с сухим молоком, который в последний момент мне вручил менеджер проекта. «У них там какие-то траблы с молочкой сейчас… из-за непогоды что ли… ребята местные просили 2 кг им привезти. Тебе ж не сложно?» — сказал он. По выражению его лица и характерному жесту ладони, как бы прикрывавшей мне рот, было ясно, как он сейчас хотел, чтобы я оказался сговорчивым или даже немым.

Что такое гибридное облако?
Гибридное или конвергентное облако — это сочетание минимум одного публичного облака с не менее чем одним частным облаком. Например, это связка вашего ЦОДа в офисе и облака Amazon. Виртуальные машины Amazon при этом могут быть видны в одной подсети с вашими физическими.



Для чего это делается?
Основная причина – экономия и скорость. Можно выделить себе любое количество ресурсов из публичного облака на любое время, а потом просто отключить ненужную мощность. С учётом всех деталей стоимость аренды мощностей в публичном облаке получается примерно такой же, как при покупке реального оборудования – но в первом случае все расходы операционные, а квантование не по трем годам (с заделом на амортизацию), а по секунде.

В прошлом году мы проводили конкурс летающих роботов. Нужно было быстро пролететь по лабиринту, обойти препятствие, после разглядеть маркер посадки, приземлиться на него, взлететь и вернуться. В рамках конкурса всё это прошёл один робот из 536 заявленных.


Вот эти парни выиграли миллион

Их робот прошёл лабиринт за 6:45. Это немало, но дрон делал несколько заходов на финишный маркер (принимал его за стартовый, на который нужно было приземлиться в конце).

Наш робот пролетел вне конкурса за 4:01. Вот его код на Гитхабе.

На этот раз мы всё так же не можем претендовать на приз, но играем вместе с вами. Задача нового этапа — пролететь быстрее 6:15 минут, за которые мы пролетели обновленный полигон (про то, как именно мы его обновили, ниже) и забрать, наконец, свои 200 тысяч рублей.

Есть задачи, которые можно посмотреть на готовой инфраструктуре в крупной компании. Большое количество программ Enterprise-уровня пишется под конкретную систему или платформу — и поэтому они так малоизвестны. Точнее, известны по листовкам, а в них, кажется, никто не пишет, что у них слабо работает.

Все говорят, что все работает идеально. Читаешь, и чувствуешь, в каком прекрасном мире живешь. Аж на слезу прошибает.

Ниже я простыми словами объясняю, как и что работает для крупных компаний и какие бывают масштабные задачи на примере центра решений Symantec, где развернут симулятор инфраструктуры крупного бизнеса. Бэкап, безопасность, работа с почтой, отслеживание проблем на тысячах узлов и так далее.

Можно прийти и протестировать, на каком уровне маркетологи честны.
Но самое главное, можно понять, насколько та или иная система применима в вашем конкретном случае, а не покупать кота в мешке.

Когда инженер слышит «3D», то он обычно сразу думает не о новом шутере, а о проектировании сложных объектов вроде атомных станций. Я уже писал про то, что мы набираем будущих специалистов по 3D-проектированию – и сегодня хочу показать вам наш первый в России 3D-центр.

Внутри есть обычные трёхмерные проекции на экраны, голографические проекции на стекло, комната виртуальной реальности, «безочковые» 3D-дисплеи и другие мультимедиа-устройства. Всего 10 подсистем на базе оборудования партнёра EON Reality. Все это совместимо с такими системами как: Autocad, Inventor, 3Ds Max, Solidworks, NX, Catia, Kompas-3D, Creo.

У нас постоянно проводятся экскурсии для представителей крупных компаний. Нефтегазовая сфера традиционно заинтересована в 3D – для них это возможность отработать план действий на местности без залезания под землю и без нажиманий на реальные «красные кнопки». Ростех тоже интересовался для салонов военной техники. Из хороших известных нам решений, 3D применяется «Боингом», «Сузуки», «Лексусом», «BP», «Saudi Aramco», «Rasgas», разными институтами (медицина, архитектура, дизайн).

У нас была задача соорудить условный макет спортцентра, оснащенный самыми современными IT-технологиями. Результат мы показывали на выставке «СПОРТ».

Вот что мы собрали в одном комплексе:

• Светодиодный навигационный пол спортзала.
• Сбор данных с браслетов (с RFID-метками).
• Инструкции к тренажерам в дополненной реальности.
• Управление контентом.
• Автоматические системы фиксации очков на турнирах.
• Различные проекционные системы.
• Система телемедицины.
• Автономное управление инженерными системами.
• Безопасность, видеоаналитика и протиповожарные меры.
• Ситуационный центр для управленцев: наглядные экономические и инженерные показатели, прогнозные оценки для принятия решений и пр.

Пойдёмте, покажу.

Возможно, вы уже слышали про национальную платёжную систему. Изначально планировалось, что эта штука станет альтернативой международным платёжным системам. В частности, в 1998 году Виза и Мастеркард прекратили делать переводы по своим картам из-за кризиса – а их, между прочим, 85% рынка банковского пластика.

Но в самом законе акцент в итоге сделали на выводе из тени электронных платежей, которые раньше никак не контролировались, и собственно предоставлении регуляторам возможности контролировать действия банков в области безналичных денежных переводов. Сейчас речь снова зашла о полноценном создании национальной платежной системы, поэтому есть смысл ждать скорых поправок относительно блокировки передачи данных в США и других соответствующих требований.

Чтобы участвовать во всём этом, нужно проделать реально сложную работу с IT и ИБ, причём выполнить и проверить её может только организация с соответствующей лицензией. У нас такая лицензия есть, поэтому ниже я коротко обозначу основные проблемы в такого рода работах, с которыми мы уже столкнулись.

На днях мы первые в России получили новую флэш СХД от EMC. И по уже сложившейся традиции в рамках тест-драйва 4 марта я положу на стол перед вами 6 юнитов.

Заявленная производительность системы — 250.000 IOPS для случайного чтения блоками 4к. При этой нагрузке среднее время отклика массива не должно превышать 1мс. Вот и проверим, и заодно повытаскиваем немного запчастей «на живую» прямо во время высоких нагрузок.


СХД EMC XtremIO приехала к нам вот в такой скромной коробке

Мултитач-стена, на которой могут одновременно рисовать сразу несколько людей

В этом году с 4 по 6 февраля в Амстердаме прошла очередная выставка Integrated Systems Europe (ISE) 2014. Это одно из самых значимых мероприятий отрасли аудио-видео и мультимедиа-интеграции: ежегодно сюда приезжают лучшие производители и куча айтишников. В прошлом году, например, было 44 тысячи участников и 900 производителей.

Если зайти на ISE «с улицы», то вы сначала увидите совершенно потрясающие штуки вроде телевизоров с изогнутыми экранами, висящих в воздухе светодиодных панелей сложной формы, разную инсталляционную акустику, видеостены с тачем. И всё это – с потрясающим контентом. Слово за слово речь зайдёт о системах коммутации, контроллерах и других технических деталях – и вот тогда вы поймёте, зачем действительно стоит ездить на ISE.

Иллюстрация масштаба работы: за год нами реализовано более 2 тысяч проектов. Всего в КРОК работает 2155 сотрудников в штате, плюс специалисты, которые приглашаются для реализации отдельных задач.

Крупные проекты 2013 года (о которых я могу рассказать) следующие:

• Объединенная авиастроительная корпорация — мы построили мобильный дата-центр. ЦОД уже используется ОАО «ОАК» в качестве основного и загружен на 45-55%.
• М.Видео — перенесли бухгалтерскую документацию к нам в «облако». Стоимость пользования услугой за пять лет в среднем в 2-3 раза ниже совокупной стоимости владения собственным электронным архивом.
• В ЗАО «Газпром межрегионгаз Санкт-Петербург» были проблемы в сложном комплексе ПО, отвечающем за контроль и учёт поставок газа. Нужно было существенно оптимизировать время исполнения и выявить причины ряда сбоев. Мы выполняли и ревизию, и поиск бутылочных горлышек, и дебаг, плюс работали на уровне архитектуры.
• Для «ОТП Банк» существенно доработали колл-центр. Собственно, мы много строим «умных» колл-центров по все стране (за последние несколько лет было построено более 60 крупных объектов).
• В ОАО «Авиадвигатель» были сложности с возможными утечками данных через смартфоны сотрудников. Мы реализовали защиту.

Ниже ещё примеры проектов и вообще описание того, что требуется разным компания в стране.

Участники

19 ноября прошел финальный тур олимпиады по администрированию Linux среди студентов и молодых специалистов. Я уже несколько лет занимаюсь проведением таких Олимпиад: первые 4 олимпиады были просто по администрированию смешанных систем, а вот последние 2 года мы сосредоточились на Linux.

Последняя олимпиада прошла довольно необычно. Во-первых, вместо одного стандартного дистанционного отборочного тура, мы сделали два этапа — простой и посложнее. Во-вторых, как я и обещал в анонсе, на финал мы приготовили особенное блюдо: 27 участников финала должны были настроить боевой кластер и интегрировать его в инфраструктуру компании, смоделированную на симуляторе.

Ниже будут задания с ответами, описание практического задания и детали, но пока встречайте победителей:


Владимир, Анна и Вячеслав

• I место — Вячеслав Карпухин из Санкт-Петербурга (в прошлом году он занял III место).
• II место — Анна Мартынова из Москвы.
• III место — Владимир Довгелевич из Краснодара.

Участники прошлой олимпиады

6 ноября начнется вторая Всероссийская Олимпиада по администрированию Linux. Сначала будет два дистанционных отборочных тура, а потом финал в Москве. В прошлом году, например, было около 700 участников. Я занимаюсь организацией подобных олимпиад по администрированию уже шесть лет (профильная по Linux — второй год), и дальше дам пару советов по участию.

Привет!
Пощупать и потестить железо стоимостью миллион долларов удаётся не каждый день. Так вот, у нас есть новая система Violin Memory, и я приглашаю вас на тест-драйв. Да, кстати, это именно у нас на одном из таких тест-драйвов на спор отключали рубильником работающую стойку в ЦОДе. Но в этот раз мы так делать не будем.

Что это за железо парой слов?

Это СХД, которая держит время отклика на чтение и запись около 1 мс при высокой нагрузке и при этом даёт самую маленькую цену на операцию I/O в известной галактике. Основное жизненное призвание – убирать «бутылочные горлышки» в куче случаев.