Эта компания уже давно находилась в состоянии медленного угасания. Случившаяся в последние несколько дней катастрофа — это просто грузовик, который сбил человека, больного последней стадией рака.
Я проработал там 5 лет, и я хочу рассказать, что именно было не так с этой компанией.
Катастрофа
Сопровождаемый вооруженной охраной, Евгений Борисович Беневоленский вошел в свой оформленный в стилистике средневекового замка датацентр на Алтуфьевском шоссе, забаррикадировался от полиции — и, фланируя между стойками, стал выдёргивать провода.
Операторы мониторинга компании Мастерхост находились в другой части Москвы. Они бессильно наблюдали, как секция за секцией отключаются критически важные службы. А вскоре погас и сам мониторинг.
Вся IT-инфрастура одного из крупнейших хостинг-провайдеров России ушла в небытие. Дежурные разошлись по домам: им стало попросту не за чем наблюдать и нечего чинить. Всего за час Евгений Борисович сумел устроить один из крупнейших блэкаутов Рунета последних лет.
Со стороны произошедшая с компанией Мастерхост катастрофа выглядит как случайность. Казалось, не войди 2 марта 2020 года бывший собственник в это аляповато оформленное здание, передумай он мстить бывшим партнёрам — и Мастерхост бы ещё долго и счастливо обслуживал сайт Роскосмоса и страничку Санкт-Петербургской хоральной синагоги.
Однако всякий, кто видел эту компанию изнутри, понимал, что она обречена.
Время надежд
В 2015 году, когда я только пришел, коллеги казались мне полубогами. Я мог часами биться над проблемой — а потом специалист по Unix Петя Попов садился за мой компьютер, откидывался в кресле и, с буддийской безмятежностью глядя в потолок, набирал десятипальцевым методом длинную, не помещающуюся в одну строку команду.
И после нажатия Enter проблема была уже решена.
Они знали и умели всё. То, насколько они хороши, было особенно заметно на фоне моих скромных знаний Linux-систем. Но опытные сисадмины научили меня всем премудростям: работе с консолью, созданию скриптов на bash, работе с nginx, apache2 и mysql.
Пока я знакомился с системами мониторинга хостинга и c софтом, который позволяет централизованно управлять конфигурацией операционных систем, мне казалось, что я учусь пилотировать летающую тарелку. Puppet и ansible, системы виртуализации и бэкапирования, искусство диагностики и решения проблем на высоконагруженных серверах — я чувствовал себя просто героем Звёздных Войн.
А когда я вникал в бизнес-процессы компании, мне, только недавно покинувшему барнаульскую госслужбу, казалось, что Мастерхост — российский аналог Гугла: настолько там всё было мудро, продумано и футуристично. Посудите сами.
Ядро компании — технический департамент. В него входят пять отделов: Unix, windows, программисты (в основном Perl), сетевики и эксплуатация. Я, как вы уже поняли, работал в эксплуатации. Unix занимается большей частью хостинга и почтовыми сервисами, держит инфраструктуру, без этого отдела Мастерхост не существует. Win-отдел — это отдельная вотчина — hyper-v виртуальные машины и почта на Exchange, которыми Мастерхост успешно торгует. От них также зависит собственная корпоративная почта (если лягут они, то это будет неприятно, но не смертельно).
Отдел Perl занимается биллингом и работает над финансовой логикой. Это личный кабинет, снятие наличности с клиентов и применение запрошенных клиентами услуг. Сетевики же оптимизируют сеть и контролируют как внутренний, так и внешний трафик.
Отдел эксплуатации — это третья линия поддержки (1-я это call-центр, 2-я — саппорт). Через нас взаимодействуют все отделы технического департамента. Мы решаем как клиентские запросы, которые нам скидывает саппорт, так и технические задачи остальных отделов. Короче говоря, мы занимаемся всем, до чего у нас есть доступ и знания. Если этого нет, формулируем конкретные вопросы и пишем в старший отдел то, что было нами проделано для решения проблем (диагностика, попытки решить проблему) и просим помочь.
В общем, всё супер. А учитывая, что в компании были ясные перспективы карьерного роста — это была работа мечты.
Но была одна маленькая деталь. Несмотря на то, что большая часть хостинга работала на Debian 7, в 2015 почему-то были ещё и сервисы на давно не обновляемой FreeBSD 7 и 8. И людей в UNIX-отделе, которые бы разбирались во FreeBSD 7 и 8, почему-то не было.
Это было странно. И когда я начал выяснять причины, то почувствовал себя героем фильма ужасов, который, въехав в новый дом, обнаружил на стене незасыхающее пятнышко крови. Или, скорее, героем «Луны 2112».
Они просто исчезли
Когда-то в Мастерхосте были специалисты по FreeBSD: они с нуля развернули инфраструктуру и поддерживали её. Но однажды, когда система была уже отлажена, они просто исчезли — сразу всем отделом. И именно благодаря тому, что они исчезли, и появились вакантные места, которые в 2015 году занял я и другие новички.
На собеседовании об этом нюансе, разумеется, никто не упомянул. Это выяснилось уже потом.
Из отдела эксплуатации по-быстрому набрали самых толковых, повысили до админов Unix отдела и поставили задачу: во что бы то ни стало предотвратить блэкаут. Так как в компании не осталось спецов по FreeBSD, то проблемы могли начаться в любой момент. После недолгих споров хостинг решили пересетапить на Debian 7. Были потеряны все старые наработки, были потеряны время и деньги — ведь работу пришлось проделать на тысячах серверов.
Если раньше и был какой-то стратегический план развития хостинга, то с этого момента и вплоть до осады Алтуфьевского замка решались уже исключительно тактические задачи.
Так, в феврале 2016 года заканчивалась поддержка Debian 7, которой была заменена FreeBSD, и надо было срочно переезжать на восьмую версию. Но эта задача решается и поныне: сейчас, в 2020 году, 90% серверов Мастерхоста всё ещё работают на Debian 7.
Наш хостинг, что называется, протух уже к 2016 году. Уже давно не было security-апдейтов на пакеты: обновлялись только пакеты, пересобранные вручную. Ни о какой безопасности тут говорить уже не приходилось: какая безопасность без security update?
В общем, инфраструктура оказалась пущена на самотёк: тень исчезнувшего в 2015 году UNIX-отдела нависала над нами и через 5 лет. Но куда они делись?
За 60 месяцев до конца света
Коллеги из Unix отдела просто встали и ушли. Это происходило циклически: каждые два года от половины до двух третей системных администраторов UNIX синхронно исчезали, после чего на хэдхантере внезапно появлялась россыпь свободных вакансий.
При мне за пять лет было три таких эпохальных ухода ключевых сотрудников. Большая часть админов на самом деле не была IT-полубогами. Это были наспех набранные новички. Почему? У компании не было денег? Или руководство просто ничего не знало о каком-нибудь зловредном HR-менеджере, не понимающем специфику работы компании, или чудаковатом исполнительном директоре?.. Нет. Оно знало.
Сам Евгений Борисович Беневоленский — одна из ключевых фигур компании — объяснял это так. Мастерхост — это не компания, а университет. А мы — не работники, а студенты. Из чего естественным образом следует, что положена нам не зарплата, а стипендия. И когда мы готовы выпуститься — то просто увольняемся. Отсюда почти нулевые требования на устройство в отдел эксплуатации, в котором куются будущие старшие админы.
Одно время даже практиковалось набирать людей в отдел эксплуатации по так называемому ученическому договору. Это когда тебя берут с нулевым опытом с зарплатой 20к, и ты не имеешь право уволиться в течение 2-х лет, иначе будешь платить за «обучение ремеслу» неприлично большую сумму. Этакое современное добровольное рабство. Кроме того, при мне не было ни одного случая, когда коллегу из UNIX пробовали бы уговорить остаться, предложить повысить зарплату. Я неоднократно наблюдал как увольняются мои коллеги и друзья, которым осточертело работать за мелкий прайс, имея при этом большую ответственность.
По этой причине в Мастерхосте, в сущности, не было тимлида. Как только человек чувствовал, что стал профессионалом, он тут же уходил в другую компанию.
В общем, руководство всё прекрасно понимало: это была осознанная стратегия. Высокие зарплаты не нужны, тимлиды не нужны, работает — и ладно. В этой компании в принципе не было опции повышения зарплаты: ты либо работаешь, либо увольняешься.
Но, быть может, это не такая уж и плохая бизнес-стратегия?.. Хостинг ведь работал. Клиенты приходили и приносили деньги. Или нет?
Клиент по привычке
В начале 2000-х люди приходили в Мастерхост со своими сайтами — и их сайты просто работали. Клиентам предоставлялась своя электронная почта, тут же в личном кабинете можно было зарегистрировать собственный домен. Тогда это было все внове и очень удобно.
Конкурентов почти не было, Мастерхост действительно был крут, он давал людям именно то, что они хотели получить.
Однако со временем отечественных хостинг-компаний стало много, и у всех появились примерно те же услуги, только по существенно меньшим ценам. Услуги Мастерхоста дорожали, а качество оставалось тем же. Клиентов стало приходить все меньше, а старые клиенты держались просто в силу того, что переезд на новую площадку технически сложен, у клиента нет специалиста для переноса сайта, надо искать новую площадку, договариваться… Когда все работает — зачем трогать?
В итоге клиентская база состояла из людей, которые оставались с компанией просто по привычке. Крупные заказчики, в том числе государственные, которым лень что-то менять. Мастерхост год за годом разменивал свой первичный репутационный капитал, заработанный ещё в те времена, когда мониторы были выпуклыми, а самым популярным поисковиком был Апорт. Именно с тех времён там хостились и Роскосмос, и Санкт-Петербургская хоральная синагога.
Но даже если бы Мастерхост захотел меняться и попытался бы вновь стать прогрессивной IT-компанией, ему было бы очень сложно.
Потому что его, в общем-то… не было.
Ты видишь Мастерхост? А его нет!
По сути никакого Мастерхоста как целостной компании не существовало — была группа компаний и множество совладельцев. Мастерхост — это 5 разных ООО. Так, треть UNIX-отдела работала в ООО «Телематика», ещё треть — в ООО «Мастерхост», а остальные в ООО «Информцентр». При этом все сидели в одном помещении.
Архитектура компании не предполагала способность к масштабированию и изменениям. Она была заточена исключительно под налоговую оптимизацию, а не под оптимизацию бизнес-процессов. Это была не летающая тарелка из «Звёздных войн», а что-то вроде расползающегося, плохо связанного плота.
По идее, привносить идеи по модернизации технической части компании, предлагать новые сервисы на суд акционеров и владельцев компании должен технический директор, но увы — за пять лет их сменилось аж 4 штуки (тот, что продержался дольше всех, уходя, заявил, что компания продержится не больше полугода). И не все из них хотели бодаться с руководством, доказывая, что без перемен и без новых сервисов компания все больше отстает от конкурентов.
Люди приходили с горящими глазами, но вскоре, когда первое радужное впечатление сходило и они осознавали, где оказались, энтузиазм угасал.
Итоги
В общем, Евгений Борисович начал выдёргивать провода из этого бизнеса ещё задолго до 2 марта 2020 года. Мастерхост был обречен, и блэкаут только ускорил процесс.
Конфликт собственников — лишь одно из следствий юридического хаоса, когда компания состоит из дюжины различных ООО. Причём следствие не самое опасное: запутанная структура не давала этому бизнесу свободно масштабироваться.
Плохая структура, отсутствие тимлида, зарплатная политика в духе Совы-эффективного-менеджера, неспособность к изменениям, зависимость от госзаказчиков — всё это было неизбежным следствием того, что компания была заточена не под развитие, а под оптимизацию прибыли.
Быть может, и хорошо, что произошел блэкаут. Возможно, эта встряска и потеря старых клиентов, которые составляли костяк клиентуры, заставит владельцев переосмыслить своё отношение к бизнесу – и, быть может, эта умирающая компания, с которой у меня связано столько ностальгических воспоминаний, преобразится и вновь станет современной и успешной. Ведь теперь у неё нет выхода: остаётся либо меняться, либо уйти.
Но если Мастерхост выберет первый вариант, у него наверняка получится. Ведь туда всегда приходили люди, глаза которых горели энтузиазмом. И я знаю это наверняка — ведь и сам я когда-то был среди них.
P.S. Большое спасибо Мише Зоберну, который помог свести мои разрозненные воспоминания в единое целое.
