company_banner

Как мы перевозили дата-центр западной компании в РФ из-за закона о персданных

    У зарубежных компаний история с ИТ-инфраструктурой очень простая: они как росли себе на Западе, так там всё и осталось. В России, как правило, нет даже инженеров, а все сервисы предоставляются откуда-нибудь из Ирландии, Франкфурта, Бостона или других городов, где находится головная организация и её дата-центры.

    Драматически ситуация поменялась после вступления в силу поправок к ФЗ-152, гласящих, что персональные данные российских граждан нужно записывать, систематизировать, хранить и обрабатывать с использованием баз данных, находящихся исключительно в нашей стране. Некоторые компании приняли решение поднимать дата-центры в Москве, чтобы не терять бизнес. В нашем случае получилось примерно так (изменены некоторые компоненты и названия, так как есть соглашение о неразглашении — иностранцы, что вы хотите):



    Сложностей море, например, такие:
    • Полное отсутствие ИТ-персонала в российском офисе, занимающегося миграцией систем и управлением всего проекта в целом — нужно общаться с сетевиками из Европы или США и разработчиками, например, из Шанхая.
    • Мало поднять прокси-структуру — нужно реально по факту обрабатывать данные в России. А, значит, в Москве (или в другом городе, но, как правило, действие происходит в столице) должен быть развёрнут инстанс CMS, почты, прикладного ПО для работы с продажами, бухгалтерия и так далее.
    • Нужно перевезти всё это быстро и без существенных простоев, а потом ещё и поддерживать в плане инфраструктуры (приклад в данном случае поддерживают «родные» ИТ-команды).


    Постановка задачи


    Во-первых, было довольно сложно сформировать точное техзадание. Да и вообще понять, что и как нужно сделать. Специфика очень простая — в России находится офис, который занимается коммерцией, а не ИТ. И если для нас CMS, ERP, документооборот и почтовый сервер — разные вещи, то с точки зрения менеджера — это одна и та же система. Поэтому российский представитель компании выступал исключительно в качестве юр.лица, с которым подписывался контракт. Абсолютно все переговоры происходили с зарубежными коллегами. Даже договор был на двух языках. Их спецы в начале приезжали на экскурсию в наши дата-центры: их вице по ИТ в качестве гостей, наши топы — в роли экскурсоводов.

    Во-вторых, география. Площадка и администраторы в одном часовом поясе, разработчики в другом, мы — в третьем. Языкового барьера не было, к счастью, весь ИТ-мир говорит на английском, и даже с китайской стороной никаких непониманий не возникало.

    В-третьих, надо было понять, что такое ПД внутри их инфоообмена, то есть подключить юристов. В итоге юристы сделали заключение, что ПД для этой компании — любые данные, по которым можно идентифицировать человека. Туда попало хранение и обработка ФИО, фотографий, разные косвенные признаки типа места работы с указанием должности, адреса аккаунтов в соцсетях. При этом адреса твиттера с никнеймами — не ПД. Кстати, небольшой ликбез мы не так давно сами проводили.

    Очень хорошо, что у нас было много исходных данных. История про переезд такая: чем меньше входных данных у тебя есть — тем дороже решение. Закладываешь самый дорогой продукт, который все умеет, самые дорогие лицензии — но можно не выиграть конкурс, потому что заказчику цена не понравится. Мы потратили свое время — показали, что можем разобраться. И получилось куда дешевле для заказчика.
    В итоге были сформированы первичные задачи переноса и вторичные по сертификации-аттестации. История в том, что регулятор сначала будет смотреть компании с иностранным происхождением — где у них данные. Если за границей – блокировку сделать можно гораздо быстрее, чем перенести системы. И уже второй вопрос, требующий более глубокого вдумчивого копания — аттестация элементов системы. В нашей практике никто эти вопросы разом не решает. Сначала переезд, потом проверка всего на местах, уже потом остальное. Это два разных проекта.

    Часть А — переезд — заняла полгода от первого контакта.

    Этапы


    Сначала мы предоставили тестовую зону из нескольких виртуальных машин, на которые заказчик выполнял так называемый proof of concept. КРОК выполнял задачу провайдера инфраструктуры — серверы, системы хранения, сеть.

    Представители заказчика делали тестовые переносы, проверяя, как устанавливается соединение, с какой скоростью передаются данные, как разворачивать системы внутри того, что мы предоставляем. Грубо говоря, изучали инструментарий.

    Потом было получено и установлено боевое оборудование. В этот момент начался перенос реальных систем, но без переноса фактической нагрузки — для того, чтобы увидеть, что системы работают, выполнялись нагрузочные тестирования. Потом шёл сам переезд в даунтайме на выходных.

    Инфраструктура


    Связь понадобилась с тремя дата-центрами, поэтому работали с иностранными коллегами в связке достаточно плотно. Если не считать сложностей с часовыми поясами, всё прошло гладко и на очень высоком уровне взаимопонимания.

    В итоге мы полностью создавали инфраструктуру для российской площадки, а заказчик заливал на неё данные своими силами под нашим наблюдением на случай сюрпризов. Наша часть — инфраструктура до уровня операционки и виртуальной машины. Адресацию согласовали почти сразу, причём наш сетевой архитектор работал с их архитектором бок о бок. Внутренняя адресация полностью соответствует их изначальной сети. Публичные адреса российские — потому что используются уже наши каналы.


    Самый простой случай — схема бекапа

    Полезный урок по сбору данных


    На первый взгляд проект кажется достаточно простым — мол делов-то собрать тут то же, что есть у заказчика в Европе. У заказчика эти сервисы ещё и в разных дата-центрах, плюс они сразу же захотели оценить последующую модернизацию — и все эти требования не всегда хорошо ложатся на «просто перенос», надо объяснять и выяснять.

    Выявление требования к инфраструктуре и согласование техзадания заняло половину времени заказа, то есть почти три месяца. Удалось очень хорошо сэкономить время за счёт того, что мы смогли составить специальные опросники в виде списка закрытых вопросов («да»/«нет» или 3-5 вариантов) — чтобы четко получать информацию от заказчика. До этого был на похожем переезде опыт с открытыми вопросами — и ответы были такие, что пришлось заходить ещё на две итерации. Здесь же мы получили довольно много информации изначально и могли предлагать свои варианты.

    В большинстве случаев подобный подход себя оправдывает. Но в паре мест мы поймали нюансы, которые в итоге чуть усложнили миграцию — несмотря на повысившиеся трудозатраты, сделали за свой счет, поскольку сами выбрали подход с закрытым опросником.

    Плюс местные особенности, конечно. Например, сроки мы согласовывали с боями — зарубежные коллеги не всегда представляют актуальные сроки доставки оборудования. Не понимают, что не всегда можно привезти что-то конкретное в РФ. Цены не как у них — у нас они вообще другие, и то, что в Европе дороже, может оказаться у нас дешевле. Или наоборот.

    Чем мы были удивлены, так это их идеальной скрупулезностью во всём, что касается существующих стандартов и правил, написанных часто лет 10 назад. У них всё это работает на честные 100 процентов, а не на 20-80, как мы это часто видим внутри России. У нас любое правило стандарта рассматривается как некая полезная рекомендация. У них — как железный барьер.

    Или вот план миграции. У нас оперативные правки делаются просто по звонку, а у них так не работает. Надо прописать, приложить схему, потом отправить письма и ждать понедельника. Никаких сверхурочных. Они привыкли работать размеренно, медленно и кайфно, но на пять с плюсом.

    Ещё мы не всегда видели их структуру: на этапе общения ты даже не всегда знаешь, с кем конкретно общаешься. И думаешь — ок, договорились, завтра дадут требования. А этот человек в Ирландии, железо в Америке, там своя ИТ-команда, с которой он ещё должен всё согласовать, а они должны показать проект тимлиду команды в Китае. Пока письмо с ответом пройдет — минимум двое суток из-за часовых поясов. Много отдельных бизнес-подразделений, и у каждого техподразделения свои хотелки, особенно на будущее. Согласование с 10 людьми в копии — совершенно нормально.

    Или вот вообще чумовой пример: обновить прошивку роутера — у нас решает ИТ-главный, а у них все эти 10 человек сразу, причём туда входят и разработчики приклада.

    Внедряли собственными силами, позже заказчик обратился к нам и за сопровождением не только на уровне инфраструктуры, но и на уровне операционок.

    Сейчас у них следующий шаг — катастрофоустойчивость. Мы и предлагаем — есть два наших дата-центра, между ними толстые независимые каналы для синхронной репликации. Готовы в любой момент переключиться или восстановиться, иными словами строить любое их решение.

    Итог


    Договорились про даунтайм на переключение, перенесли за 32 часа (большая часть даунтайма — окончательная синхронизация данных и тесты продакшна), согласовав работы всех команд. Сейчас система уже несколько месяцев работает без нареканий. Кратко история прошла так: монтаж железа, сборка, проверки, накатывание инфраструктурного софта, поднятие виртуализации, первоначальная настройка, сопровождение и внедрение их систем, ещё тесты — дальше включалась команда заказчика. Иногда они просили нас помогать по своим задачам, например, на тестах производительности приклада мы ковыряли вместе с ними, искали узкие места в инфраструктуре. У нас много всяких услуг, всё же по ИТ-инфраструктурам мы по России первые. Вот они всем этим смело и пользовались к общему счастью. Их сетевики заглядывали в проект всего лишь пару раз, и то, когда были просадки на международных каналах, всё остальное время никто, кроме прикладников, в эксплуатации не участвует. После внедрения 2 недели мы были в режиме усиленной поддержки, то есть каждый день обсуждали с их спецами статусы и мелкие доработки. Сейчас предоставляем инфраструктуру: серверы, системы хранения, сети, балансировщики, устройства ИБ, виртуализация, систему резервного копирования. Плюс все это в режиме отказоустойчивости резервируется во второй дата-центр, за счет чего SLA составляет 99,9% для всех уровней инфраструктуры.

    Ссылки


    КРОК
    IT-компания

    Comments 39

      –25
      Вот и плюсы от решения о переводе хранилищ ПД в Россию: создаётся инфраструктура, рабочие места.
      • UFO just landed and posted this here
          –5
          Не факт, что не будут. Тут логическая вилка. Если это небольшой рынок и нет доходов, то нет нужды в строительстве, можно обойтись и арендой. Если это большой рынок и много чего нужно хранить, значит, придётся построить.
          Новость по хедхантеров я не видел, но если это про hh, честно говоря, и… ладно. Свято место пусто не бывает, другие придут.
            +10
            Проблема ещё в том, что в России рынок услуг не развит, арендовать нечего. Попробуйте найдите failover ip за вменяемые деньги между локациями.

            Плюс даже несмотря на новый курс евро, наши "лоукостеры" по ценам ближе к топовым хостерам в Европе, а техподдержка наша в сравнении с европейской никакой критики не выдерживает.
              –16
              всему этому есть объективные причины, заключающиеся как раз в том, что можно было размещать за рубежом, и деньги перетекали туда. Теперь будут, по крайней мере, отчасти, перетекать сюда, а за деньгами тянется и сервис, и техподдержка.
                +1
                Рынок работает не так. У hetzner отличный сервис (про качество железа холивар разводить не будем, но там тоже всё неплохо) был всегда, даже в далеком 2007м.
                Из-под палки у наших хостеров ничего не улучшится, им это только повод драть деньги за те услуги, которые во всем мире давно уже бесплатны или стоят копейки.

                Для справки — за цену failover-ip (без железа) в России я всё ещё могу снять 2 сервера в hetzner с ssd и между ними растянуть heartbeat или что-то похожее. И в SYS могу. А в России — не могу.
                  +7
                  Или вот система автоматической наливки сервера. Казалось бы, что проще? dhcp, pxe и простенькая морда, которая пишется за 1 день.
                  У всех европейских хостеров она есть. В России на тебя смотрят как на идиота в ответ на просьбу "самостоятельно установить ОС из своего образа своими руками".

                  Да чего уж там, у 90% хостеров нет даже rescue-загрузки по сети, какая там автоматическая (пере)установка ОС.

                  За ip-kvm деньги берут, опять же (в смысле за тот, который ты раз в год просишь подключить на пару часов).

                  Стабильность вообще никакой критики не выдержит, у меня сервера в hetzner (который вообще-то так себе по стабильности) живут по году без даунтайма, а у российских серверов проекта раз в полгода стабильно сейчас падает питание/сеть на несколько часов раз в 3 месяца.
                  А в fasthosts сервер проекта стоит больше 5 лет без даунтайма (тьфу-тьфу) по вине хостера. 5 лет его не вырубали ни по питанию, ни по сети.

                  Единственный, кто на рынке более или менее крут по стабильности/качеству техпода при адекватной цене — это flops. Но у них хватает других проблем, да и железа у них нет.

                  А ещё я помню ДЦ в Химках какой-то в который мы заехали на неделю, из которых 4 дня сеть лежала.

                  Ах да, ещё очень весело у нас диски меняют — диск поменяли, система не запустилась, сидят молчат, даже письма не напишут. Спустя пару-тройку часов прилетает письмо "мы диск поменяли, но ОС запустить не смогли, развлекайтесь". Rescue нет, ip-kvm — почасово по тысяче рублей, за 2 часа инженеры не додумались загрузиться со второго диска. Загрузка со второго диска удаленными руками — полторы тысячи.

                  Вот и живи как хочешь.

                  Говно всё это, горбатого могила не исправит. Есть, конечно, хорошие хостеры у нас, но цены там вида "18 тысяч в месяц за тазик с Xeon о четырёх ведрах и 16 гб памяти". И, опять же, за каждый чих там тебе ещё нарисуют по тысяче в месяц.
                    0
                    А в серверс.ру ходили? Судя по описанию, там нет перечисленных вами проблем.
                      0
                      Дорого, смысла нет. Вместо их одного ssd-сервера можно взять 4-5 в he и в ус не дуть.
                        0
                        Там виртуальные сервера с ssd, обычные не обязательно.
                        Насчёт цен не в курсе, мне оно пока не надо )
                          0
                          Виртуалки неинтересно, там есть из чего повыбирать.
                      0
                      В Селектел и rescue и автоустановка из панели и бесплатный KVM. Если ищите по цене подешевле, то посмотрите распродажу https://selectel.ru/services/dedicated/#sale
                        +1
                        Там старьё всякое совсем уж на распродаже, больше 12G RAM железа нет.

                        У селектел failover как раз и стоит 6к, а нормальная железка стартует от 7500 (а по-хорошему — 9500). 20-25 тысяч против 7 тысяч? Нет, спасибо.
                          0
                          Бывают конфиги и по 64ГБ памяти и 2х Xeon E5, но быстро раскупаются. В ближайшее время сделаем почтовую подписку на новые лоты (пока можете подписаться на наш твиттер).

                          VRRP — это не failover IP, а резервирование между ДЦ в разных городах.
                          Если вам достаточно резервирования на уровне сервера, то вы можете перебрасывать IP между серверами в одной локации без заказа дополнительных услуг.
                            0
                            перебрасывать IP между серверами в одной локации

                            Я говорю про перебрасывание IP между серверами в разных локациях, всё же (городах, не странах, ок). У вас это реализовано в виде VRRP за цену двух серверов в Европе.

                            У OVH это бесплатно, у hetzner — 5 EUR в месяц, в online.net — $2. Да, не автоматом, но даунтаймы балансера пережить позволяет.

                            Так-то у вас всё хорошо, по уровню вы не уступаете европейским лоукостерам (а они в хвост и гриву дерут остальных наших хостеров по качеству услуг и аптайму. Да и по качеству железа догоняют уже.), но цены у вас лютые всё же, даже с новым курсом, даже с учетом того, что вы их почти не корректировали по курсу.
                            Более того, у вас цены высокие даже в сравнении с fasthosts, а эти из разряда "дорого, долго, ох*нно", "6 лет без разрывов".
                          0
                          Кстати, автоустановка из панели не работает в Хромиуме (таблицы с разделами нет, хотя может быть и ublock виноват, но у вас половина клиентов панели с ним). В FF живёт.

                          Ну и вариантов для разбивания дисков там так себе. LVM вовсе не нужен в 99% случаев (а убрать его нельзя), swap убрать нельзя, swap вторым разделом сделать нельзя (не говоря уже о том, что в моём конфиге его вообще нельзя сделать меньше 5 гб).

                          В hetzner инсталлер намного гибче всё же. В OVH ± такой же, но мелких фич настроить он больше позволяет.
                            0
                            Спасибо за отзыв, постараемся учесть в обновлениях системы авто-установки!
                            0
                            В итоге, кстати, автоустановка ваша сказала кря. В смысле "Failed retrieve preseed". Иех.
                              0
                              И установка через selectel boot menu тоже не работает — из dhcp прилетает подсеть, шлюза в которой в радиусе видимости не наблюдается, машинка в тырнеты сходить во время установки не может.

                              Чудненько.
                                0
                                Смысл тогда вообще по dhcp что-то выдавать на этом этапе.
                                  0
                                  DHCP служит для загрузки сервера, выход в интернет предусмотрен только с белым IP. Улучшим это со следующим обновлением архитектуры сети (плюс будут новые фичи).

                                  По неработоспособности авто-установки напишите, пожалуйста, тикет, уверен, всё быстро починят.
                                    0
                                    напишите, пожалуйста, тикет

                                    А есть куда его написать не из клиентского аккаунта? Сервер не мой, его запускать пора уже, а потом доступ к панели могут и забрать.

                                    В итоге, кстати, пришлось просить поставить руками техподдержку, ни один из вариантов автоустановки не помог.
                                    Установка через boot menu закончилась неработающей сетью, которую не смогли починить в техподе, предложили переналить.
                        +1
                        Не про HH, а про SaaS-сервис icims.com, который используют сотни компаний (в т.ч. RedHat, Amazon и т.д.). Подробности: https://geektimes.ru/post/271574/
                      +2
                      За счет снижения эффективности и увеличения количества проверяющих.
                      Для бизнеса это чистые издержки.
                        –5
                        насчёт снижения эффективности — это смотря как считать. Увеличение количества проверяющих это тоже слишком общо, какие тут "проверяющие" добавляются?
                        Относительно эффективности она скорее растёт по ряду причин: 1) русскоязычное сопровождение на месте, а не украинцы в онлайне; 2) ДЦ меньше загружены, поэтому при сравнимых характеристиках доступность получается выше. 3) стоимость услуг — ниже с учётом курса.
                        Ну и вот КРОК уже заработал, почему нет, я лично вижу в этом плюс, рад за ребят.
                        0
                        Кто мешает воткнуть сервак с юзерами на колокейшен и админить это из-за границы? Все проблемы упираются в адекватный identity management. Выпилили всех россиян в отдельный security realm и федерируют аутентификацию.
                          –2
                          я об этом и пишу, если объём доходов невелик, можно колокейшн выделить и всё. Но в целом — это вполне неплохая протекционистская мера, перетаскивающая оказание услуг в Россию.
                            +5
                            Она вообще ничего не перетаскивает кроме базы/LDAP директории при нормально спроектированной инфраструктуре. Ее в любой момент можно грохнуть и закрыть лавочку. Рабочих мест это не создает, разве что малюсенькая капелька денег за колокейшен.
                              +1
                              Не согласен, любой даже маленький проданный кусок товара или услуг, создает рабочие места, да пусть мизерное количество но создает, это только про прямые рабочие места, а если брать в расчет косвенные?
                              В любом случае отношение 0 рабочих мест и 1 рабочего места, как и 0 денег и малюсенькая капелька денег — бесконечность.
                                –1
                                Может кто подскажет сколько стоит виртуалка с развернутым OpenLDAP… а там уже будет видно сколько бизнес ланчей для админа это окупает :) Это не дает ничего, ктроме раздражения групных игроков и отсутствия мелких. Привет конкуренция.
                          +17
                          А потом можно пригнать кучу бульдозеров и снести эти новые дата-центры, а на их месте затем построить новые. Куча работы будет для кучи людей. Вон какая польза для экономики. Можно пойти толпой и разгромить магазин или продуктовый рынок — будет куча халявной еды, можно будет сразу накормить кучу людей. Та же логика.
                            –15
                            по поводу кучи бульдозеров — это Вы излагаете идеи Кейнса, благодаря которым США вышли из Великой депрессии, но это уж слишком, да и об этом речи не идёт. Стоимость самого ДЦ, конечно, высока, но суть бизнеса его владельца — в оказании услуг, а не в строительстве, поэтому основной денежный поток идёт как раз за услуги. Так что перенос их в РФ — безусловно выгодная протекционистская мера.
                            +2
                            Изоляция никогда не бывает в плюс, вы видите только верхушку айсберга, на которой, внезапно, оказалась маленькая печенька. На деле негативных факторов в средне- и долгосрочной перспективе гораздо больше. Практически любая попытка нечестно отнять у кого-то деньги путем издания подобных искуственных законов вместо того чтобы развивать конкурентную среду приводит в долгосрочной перспективе только к еще большим проблемам.
                              –1
                              пока она привела к активному строительству ДЦ. И какие Вы предлагаете другие «способы развития конкурентной среды»?
                                –3
                                Мне нравится эта логика. Зачем защищать и развивать свое — пусть дохнут.
                                Американские фермеры имеют гарантии от государства на объем закупок. То есть ему вообще можно бесплатно отдавать лишнюю продукцию — он свое заработал. Большие проблемы почему-то у фермеров Российских, а не у американских.
                                Все развитые страны кроме России ввели пошлины на заграничные посылки. Они получили маленькую печеньку, а Россия конечно развивает конкурентную среду с НДС для русских предпринимателей и отсутствием оного для Али, таобао и всех остальных магазинов. В итоге русская интернет-торговля в коматозе последние 5 лет после введения лимита 1000Евро, а в Европе и США как-то все не плохо.
                                Китай запретил работать Google на внутреннем рынке, Taobao и Alibaba конечно печенька и у Китая большие проблемы.
                                Китай запретил Visa и Mastercard на время и China Union Pay занимает 1е место в мире по объему выпущенных карт и количеству транзакций. Да да. китайская платежная система больше визы и мастеркарда и по обороту и по количеству кард.
                                НАМ ТАК НЕ НАДО! Нам надо то, что в темной глубине, а не печеньку сверху.
                              +1
                              > Они привыкли работать размеренно, медленно и кайфно, но на пять с плюсом.
                              Я работаю и с чехами и с немцами, у всех косяки бывают.

                              И еще про провоз серверов через таможню: сервера содержат процессоры, которые имеют модули шифрования, соответственно на модель должна быть получена нотификация ФСБ. Она получается 1 раз производителем на конкретную модель, или может быть получения юридическим лицом по доверенности от производителя, которая мелкому-среднему бизнесу не дается.
                              То есть, если сервера закупаются за границей, то нужно сначала убедиться, что нотификация есть в реестре.
                                +1
                                Нахер соблюдать мудацкий закон, исполнение которого все равно никто не будет контролировать?
                                  0
                                  Могу только из своего опыта сказать, что ЦБ при проверке страховых компаний просит справку о местонахождении сервера, которая должна быть чем-то подкреплена, например договором с ДЦ.
                                  0
                                  можно полюбопытствовать, FC-репликацию чем делали? FCIP на Brocade 7800?

                                  Only users with full accounts can post comments. Log in, please.