company_banner

Яндекс открывает Облако. Архитектура новой платформы

    image

    Сегодня Яндекс.Облако стало доступно всем. Теперь любой пользователь может зайти в Облако и развернуть необходимые ему ресурсы, получив доступ к технологиям Яндекса. Например, к машинному переводу и распознаванию и синтезу речи.

    Сегодня я хочу познакомить вас с Яндекс.Облаком и рассказать, как оно устроено внутри. Под катом вы узнаете немного об истории, команде и архитектуре нашей платформы.

    Немного истории


    Несмотря на то, что облачная платформа Яндекса была впервые публично показана не так давно, проект развивается внутри компании уже долго и успел пережить несколько фаз, а многие технологии, которые легли в ее основу, прошли проверку временем во внутренней инфраструктуре Яндекса. Разработка началась в прошлом году, а первые внешние пользователи начали тестировать платформу в апреле 2018 года. Это был закрытый режим, в котором участвовало около 100 компаний — веб-сервисы разной величины, разработчики SaaS и корпорации. В сентябре мы открыли публичный сайт, но попасть в само Облако можно было только через лист ожидания, и вот теперь, в декабре, доступ стал открыт всем.

    В самом начале, когда формировался план развития продукта, нужно было принять несколько стратегических решений о том, какими характеристиками должно обладать облако и на каких технологиях оно должно базироваться: какие опенсорсные решения было бы целесообразно использовать, что можно взять из внутреннего стека технологий Яндекса, а что придется разрабатывать специально для публичной платформы. Один из важнейших вопросов был связан с OpenStack.



    К этому моменту в Яндексе уже несколько лет успешно работал кластер на OpenStack из нескольких тысяч хостов. Одним из возможных решений было бы использование этой технологии для создания Облака, тем более что это существенно ускорило бы выход платформы на рынок. Однако после множества обсуждений и горячих споров было принято решение в пользу собственной разработки. Высказывались доводы за и против, но решающими стали следующие аргументы.

    В первую очередь, OpenStack — решение для частных single-tenant облаков. Оно исторически не создавалось для построения масштабируемых multi-tenant платформ. Второй момент: эта технология плохо совместима с гиперконвергентной архитектурой (когда все аппаратные ресурсы образуют один большой пул, и уже на базе него строится виртуальная инфраструктура). Ну и третье — мы на себе прочувствовали все сложности с поддержкой и модификацией OpenStack, выявленные в процессе эксплуатации кластера, и не хотели рисковать клиентским опытом наших будущих пользователей. Конечно, однозначных ответов на поставленные нами вопросы не было, но требовалось принять взвешенное решение. Выбор был сделан, и платформа пошла по собственному пути.

    Тут стоит отметить сопутствующие архитектурные подходы, которые также были заложены в самом начале. Использование единого пула унифицированных аппаратных ресурсов — одно из принципиальных решений. Такой подход позволяет легко масштабировать платформу и безболезненно увеличивать количество доступных ресурсов. Кроме того, мы определили, что платформа будет строиться на принципе self-hosting. То есть все сервисы облака, включая служебные, должны «жить» поверх единой гиперконвергентной инфраструктуры. Это значит, что в Яндекс.Облаке нет выделенных серверов управления. Все сервисы платформы развернуты на таких же виртуальных машинах, как и у внешних пользователей.



    Self-hosting позволяет очень гибко управлять структурой облака и с минимальными затратами в автоматическом режиме подключать дополнительную инфраструктуру — от одного сервера до целого дата-центра с тысячами машин. Кроме того, мы работаем в тех же условиях, что и наши пользователи, а значит, можем на себе испытывать весь клиентский опыт.

    И третий принцип, заложенный в основу платформы: наличие единого хранилища метаданных и системной информации для всех сервисов. Для этого используется внутренняя разработка — Yandex Database (YDB, не путать с ClickHouse), которая позволяет размещать данные очень надежно, эффективно и эластично. Таким образом, хранилище метаданных стало базовым внутренним сервисом для всех других сервисов Яндекс.Облака.

    Вы, наверное, обратили внимание, что основные принципы организации платформы тесно связаны друг с другом и во многом определяют архитектуру и многие последующие технологические решения. Именно это и дало нам возможность создать масштабируемую платформу, которая позволит планировать развитие всех существующих и будущих сервисов Облака в долгосрочной перспективе.

    Архитектура


    В общем виде архитектура выглядит так:



    Основу облака составляет уже упомянутое общее хранилище метаданных (storage layer). YDB с помощью специального механизма репликации охватывает собой все аппаратные хранилища, доступные Облаку. Аналогичный механизм действует для network block storage (NBS). Вдвоем с YDB они образуют общую систему хранения данных, которая и используется всеми остальными сервисами в Облаке.



    Поверх хранилища построен сервис Yandex Compute Cloud. Он дает возможность управлять виртуальными машинами, которые используются как внешними пользователями, так и внутренними компонентами платформы. Гипервизором служит KVM, а эмулятором — QEMU. Как следствие, для виртуализации устройств были выбраны VirtIO-драйвера. Важной частью связки виртуальных машин и аппаратной инфраструктуры является Scheduler. Именно он определяет, на каком физическом сервере будет развернута очередная виртуальная машина.



    Все вместе эти компоненты являются IaaS-частью платформы, куда также входит сервис Yandex Virtual Private Cloud. В основе сетевого сервиса лежит опенсорсный проект OpenContrail.

    Еще одним важным компонентом этого уровня является механизм Snapshot. Он позволяет делать снимки и образы дисков.



    Уровнем выше — платформенные сервисы, в большинстве своем доступные всем пользователям Яндекс.Облака. Это сервисы для управления базами данных в Облаке, кластера которых разворачиваются на виртуальных машинах (ClickHouse, Managed Databases для MongoDB и PostgreSQL); совместимое с S3 объектное хранилище; а также сервисы перевода и синтеза и распознавания речи.

    Есть еще два важных сервиса, которые охватывают собой все слои облака. Это Биллинг и Identity and Access Management (IAM). Первый отвечает за все операции с тарификацией и оплатой потребленных ресурсов. Второй реализует управление доступом к ресурсам на базе ролей (role based access control): каждому пользователю могут быть назначены те или иные роли, описывающие разрешенные операции. Например, роль editor позволяет создавать, удалять и редактировать ресурсы, но не позволяет управлять доступом к ним.

    Это достаточно общее описание устройства Яндекс.Облака, но оно позволяет понять, как различные части большой платформы взаимодействуют друг с другом. Если вы хотите более детально вникнуть в структуру платформы — советую вам посмотреть запись конференции about:cloud. Особое внимание на этом мероприятии было уделено сетям и Yandex Database.

    Команда


    Напоследок — пара слов о команде. За последний год она существенно увеличилась и продолжает расти. Сейчас она состоит уже более чем из 150 человек, не считая большого количество групп, которые напрямую не входят в состав Яндекс.Облака, но наработки которых также применяются в платформе. Существенная часть специалистов — конечно же, разработчики. Они поделены на подразделения, которые занимаются тем или иным направлением: виртуальными машинами, облачными базами данных, биллингом, сетями и т. д. Есть отдельная группа, специализирующаяся на вопросах безопасности облака и всего, что в нем хранится. Ну и, конечно же, поддержка, готовая быстро ответить на вопросы, возникающие у пользователей.

    На этом у меня все. В ближайшем будущем мы опубликуем несколько статей, посвященных деталям работы с разными сервисами нашей платформы. А пока вы можете бесплатно познакомиться с Яндекс.Облаком. Каждый новый пользователь получит 4000 рублей на знакомство с платформой. Этой суммы вполне хватит на то, чтобы в течение месяца размещать в Облаке веб-проект среднего масштаба на базе стандартной связки LAMP с объектным хранилищем файлов на 1 терабайт; или для того, чтобы перевести массив данных размером более 9 млн символов, подключив машинный перевод к своему мобильному приложению или веб-сайту.

    Яндекс

    818,00

    Как мы делаем Яндекс

    Поделиться публикацией

    Похожие публикации

    Комментарии 132
      +3
      Откуда в облако проходит трафик? Он фильтрованный с блокировками или чистый?
        0
        Это риторический вопрос, как по мне.
          0
          Не факт. Крупные ЦОД могут получать заграничный трафик напрямую, без всяких фильтров. Где-то на Хабре проскакивала инфа оо одном русском провайдере, у которого на VPS иностранный трафик идет чистый.
            0
            Просто, видимо, этот провайдер недостаточно крупный, чтобы на него обратили внимание соответствующие органы. Если на «Ревизор» едет фильтрованный трафик, а клиентам — какой-то другой, это довольно реалистичная заявка на неприятности.
              +1
              Скорее всего никакого ревизора у хостеров нет(не обязаны) и ставят его только конечным пользователям.
              Лично ставил прокси на VPS в одном российских топов и никакой фильтрации небыло. (название говорить не буду)
                0
                У хостеров Ревизор есть. Информация инсайд.
                Яндекс как бы и не совсем хостер, поэтому неясно.
                  0
                  Яндекс как бы и не совсем хостер

                  а статья о чем?

                    0
                    У нас где-то определено понятие хостера?
                    Ну, Яндекс — это скорее поставщик услуги «виртуальная инфраструктура» или «публичное облако», что как бы совсем не эквивалентно понятию «хостер». И уж точно не эквивалентно «провайдеру» (т.е. поставщику услуг связи).
                      0
                      У нас где-то определено понятие хостера?

                      я думаю это юрлицо, имеющее лицензии на типичные хостинговые услуги. Ну вот в статье говорится что яндекс именно этим и занимается. Без лицензии? Ну вряд ли. С лицензией? Конечно да. Раз да, то почему у него должны быть другие условия, касательно блокировок.

                        0
                        Минуточку. Как давно на хостинг требуется лицензия?
                          0

                          ну телематические услуги связи. По каким направлениям хостеры проходят лицензирование?

                            0
                            Услуги связи предоставляет аплинк, а не хостер.
                              0

                              услуги связи может быть, но мы про телематические услуги связи.

                                0
                                Министерство связи в своем письме о хостинг-провайдерах от 15.01.2016 говорит о том, что «Деятельность по размещению информации на собственных или арендованных технических средствах, а также по предоставлению информации, при которой передачу сообщений электросвязи осуществляют иные операторы связи, не является лицензируемой».
                                  0

                                  … поэтому лицензируются телематические услуги связи. Услуги не могут оказываться без их лицензирования.

                                    0
                                        0

                                        Именно. И как только хостер взял с пользователя деньги за Egress данных из облака — он сразу оператор телематических услуг со всеми вытекающими в виде Роскомнадзора, СОРМов и отчислений в фонд услуг связи

                0
                Если хостер не владеет каналами связи — он не обязан фильтровать, соответственно, никаких ревизоров с этой стороны. Ну и денег за почту тоже нельзя брать, как за телематическую услугу. И некоторые другие услуги тоже нельзя оказывать (хостинг/вдс к ним не относится), дабы не попасть на лицензию.
                А вот в датацентр может приходить и нефильтрованное, что иногда и случается даже с э… одним общероссийским крупным провайдером, который многие сильно ругают как за фильтрацию в частности, так и за качество услуг вообще :-)
                0
                Возможно, эту инфу «проскакивал» я.
                Отчет о состоянии: лафа закончилась, месяца два назад.
              0
              Сейчас тыкаю палочкой в Яндекс.Облако — с виртуальной машины удалось достучаться до flibusta.is и telegram.org, которые домашний NetByNet показывает как заблокированные.

              Но хотелось бы конечно ответа от официальных представителей сервиса. AlexandrSurkov, блокировки РКН в Яндекс.Облаке не работают в принципе или потом могут появится?
                –3
                с виртуальной машины удалось достучаться до flibusta.is и telegram.org
                Вот это уже интересно!
                Обычно бывает, что чем крупнее ЦОД, тем меньше всякого мусора между ним и входящим каналом. Если у Яндекса это фича, а не баг, который потом пофиксят, то нашлась хорошая замена заблокированному со всех сторону — Скалевею.
                  +14
                  Яндекс.Облако подключается к интернету только через лицензированных операторов связи. Гарантировать поведение трафика, мы не можем, так как это находится за пределами нашего контроля.
                    0
                    Спасибо
                    //уходит из темы
                      +3
                      Забавно
                      Минусующие из тех, кого не затронули ковровые блокировки Телеграма и они считают, что иностранный трафик без фильтров нужен только для того, чтобы на Флибусту ходить? У меня было насколько VPS у Гугла, на Scaleway — все они отвалились, огромное количество айпишников Cloudflare забанено, из-за этого совершенно обычные сайты не работают.

                      Но на Хабре все спокойно и никого не интересует иностранный трафик без фильтров?
                        0
                        Главное — интересует ли это Яндекс. Если нет (а ответ в стиле «это на провайдере» дает понять что это не входит в их ключевые интересы) — значит Яндекс.Облако чисто для российского рынка.
                        Кого интересуют другие рынки — проходит мимо яндекса, благо выбор богат.
                          0
                          Потому и задали этот вопрос.
                      0

                      Хороший ответ. А услуги вы по Оферта под телематической лицензией оказываете?

                  +2
                  А как оно в сравнении с GCP на серьезных мощностях? Просто на слабых конфигах я вижу преимущество по рублевой цене не на стороне Я.Облака.
                  Яндекс:
                  5% vCPU = 0,19 ₽/час * 30 дней * 24 часа = 136,8 ₽
                  1 ГБ RAM = 0,24 ₽/час * 30 дней * 24 часа = 172,8 ₽
                  — 309.6 рублей
                  GCP:
                  Regular: f1-micro (vCPUs: shared, RAM: 0.60 GB) = USD 4.29 = 286,572 рублей
                  Preemptible: f1-micro (vCPUs: shared, RAM: 0.60 GB) = USD 2,85 = 190,38 рублей

                    +2
                    Это не совсем корректное сравнение.
                    Preemptible f1-micro — это так называемые «прерываемые» ВМ, на которые вообще нет SLA, с чем связано другое ценообразование
                    А если сравнивать почасовое потребление, то результат будет обратный. Да и конфигурации все-таки разные.
                      0
                      Да, я весьма условно сравнил самые низкие конфиги.
                      Я, на самом деле, не в упрек сервису. Просто думалось, что с учетом наших курсовых особенностей, есть возможность дать более низкую цену, чем у конкурентов.
                        +1
                        К сожалению железо не наших курсовых особенностей с чего, от части, и складывается цена
                          0

                          Оно ещё и дороже, увы :(
                          Плюс разве что в электричестве...

                    +1
                    Когда вы в первый раз войдёте в консоль, вам станет доступно не менее 4000 рублей от Яндекса. Эту сумму можно потратить в течение двух месяцев на любые облачные сервисы
                    Ай-яй-яй… Ну Яндекс, как же так? 4к хватит почти на год простейшей виртуалки. Вам жалко одного гипертрейдингового ядра? Раз делаете подарок, то дайте им поиграться как следует, а не пару месяцев.

                    Гугл и Амазон дают маленький инстанс — на целый год.
                      +5
                      А по-моему, наоборот так лучше. Двух месяцев для тестового периода хватит за глаза, но при этом в рамках 4000 можно попробовать создать достаточно мощный инстанс и по-настоящему проверить, хватает ли ему производительности. А не довольствоваться одним t2.micro.
                        +1
                        Лучше, когда есть выбор, или все 4к за неделю на мощной виртуалке с БД, или год одноядерной в качестве прокси или почтового сервера. Год хорош еще и тем, что можно собрать статистику аптайма, были ли падения, проседал ли трафик и все такое. Когда выбора нет — это плохо.
                          +3
                          Просто вы со своим прокси для себя и своим почтовым сервером не являетесь целевой аудиторией яндекса. Он все-же хочет продавать свои мощности, а не давать бесплатный хостинг на год тем, кто и так не собирается ничего покупать.
                          И всё-таки яндекс — не амазон и не гугл, как бы нам того не хотелось :)
                            –3
                            Из всех хостингов, где есть пробный период, в том числе и длительный, я не стал пользоваться только Гуглом, потому что его закошмарили во время истерических блокировок и айпишники гуглооблаков не прозванивались из России. На ДО у меня до сих пор одна виртуалка уже 6 лет крутится, Скалевей закошмарили — пришлось уйти, на Амазоне у меня файлопомойка в их S3 — начиналось тоже с бесплатного года с первыми пробами виртуалок для ВПН.

                            В итоге — я нигде целенаправленно не «продлевал» бесплатные виртуалки регистрируя новые аккаунты каждый год на новую карту и телефон. Пользовался хостингом, потом переходил на оплату и сидел там столько — сколько он меня устраивал. Подсадил бы меня Яндекс за год на свои сервисы — может я их потом несколько лет пользовал за деньги и другим советовал.

                            А так — я просто пройду мимо, ибо за те же или чуть большие деньги арендую виртуалку в Болгарии у очередного лоукостера, или еще где. Нет, так нет. Пусть думают, что сэкономили.
                              0
                              виртуалку у очередного лоукостера
                              Ну, облако от яндекса всё-же не лоукостер. Значит очевидно, вы точно не целевая аудитория.
                              Пусть думают, что сэкономили
                              Сэкономил — считай заработал :)
                                0
                                Вы мой пост точно читали? Амазон и Гугль это лоукостеры?
                                Они давали мне бесплатный год и теперь на мне зарабатывают. А Яндекс на мне не заработает, потому что два месяца тестов мне не интересно. Как не заработал юли на мне в Майкрософт, потому что когда мне было интересно их облако — они давали на тест всего месяц. Кстати, теперь они тоже год дают, кажется.

                                Ну ок, я не буду являться целевой аудиторией Яндекс, зато вхожу в нее у Гугла и Амазон. Меня это устраивает.
                            0
                            Это вам к GCP.
                              0
                              Уже.
                            +1
                            На самом деле Google предлагает $300 для тестирования любых услуг в течение года.

                            ps. Хотя, да, нельзя:
                            — Have more than 8 cores (or virtual CPUS) running at the same time.
                            — Add GPUs or TPUs to your instances.
                            — Request a quota increase.
                            +2
                            В гугле мало того, что $300 на год, так ещё и Always Free есть.
                              0

                              Не знаю насчет гугла, но если быть совсем точным, то Амазон дает 750 часов в месяц t2.micro на год. Да, можно год держать бесплатно одну виртуалку 24/7. А можно вместо этого иногда по необходимости поднимать на несколько часов по 75 (!!!) виртуалок (по умолчанию ограничение 5 инстансов на регион, всего 15 регионов), и это тоже бесплатно. Ну разве что за исходящий трафик могут взять немного, если лимит превысить.

                              +2
                              Openstack — боль
                                +4
                                Но ведь в статье написано, что от Openstack как раз таки отказались?
                                  +3
                                  Да, я просто разделил ощущения от работы. И понимаю выбор.
                                0
                                Создаю в ComputeCloud диск. Теперь я могу его удалить или сделать с него снапшот. А вот подцепить его к виртуальной машине не могу :( По крайней мере из веб-интерфейса, в API соответствующий метод вроде есть.

                                Кстати, а модули для ansible для работы с Яндекс-Облаком создавать планируется или только когда community подтянется и само напишет?
                                  +2
                                  Насколько мне известно, к terraform биндинг (провайдер) будет: tg://resolve?domain=yandexcloudnews&post=26
                                  Кстати, а модули для ansible для работы с Яндекс-Облаком создавать планируется или только когда community подтянется и само напишет?

                                  а зачем ansible, если есть terraform?

                                  Ну, и их утилита родная (аналог gcloud, только для Я.Облако) должна быть достаточно удобной.
                                    0
                                    Если вы говорите про уже созданную виртуальную машину, то подключить диск можно только к остановленной виртуальной машине через CLI или API. Позже эта возможность появится и в Management console.
                                      0
                                      Диски — сетевые, и находятся в соответствующей AZ. Если создать диск в A, его нельзя будет прицепить при создании машины в C. Может быть проблема в этом?
                                        0
                                        Нет, AZ та же. Выше ответили, веб-консоль пока диски не умеет.
                                          0
                                          Каким образом будет ранжироваться функционал для добавления в беклог, который запрошен клиентами?
                                          Ну, если по дискам — этот функционал планируется (судя по слову «пока»)?
                                            0
                                            Вы можете с запросом функционала обращаться напрямую в тех.поддержку, как и с любыми другими вопросами. Там эти запросы агрегируются и передаются дальше в команды разработки.
                                      +18
                                      Название, надеюсь, будет «Яблако»?))
                                        +4
                                        Тогда уж, пока пятница и ещё не совсем поздно, давайте и Яндекс.Телефон в Yapple переименуем, ну или в Yandroid на крайний случай :)
                                          +3

                                          yPhone :)
                                          Простите за оффтоп

                                          0
                                          Нет, Ёблоко)))
                                          +3
                                          А что с Yandex.Cocaine?
                                            +3
                                            Вопросы по информационной безопасности:
                                            1. Судя по вашему описанию, у вас на compute используется GNU/Linux, KVM, QEMU. Но ни в одной презентации не затронуты вопросы обновления этих популярных составлящющих частей, хотя бы от «уязвимостей с логотипами». Можете описать пожалуйста теущее состояние (в т.ч. про «уязвимости» в CPU) и подход к обновлениям?
                                            2. Вы сообщате, что на выбор пользователю доступно 3 ЦОДа и возможность IP связности между облаками в них. Шифруется ли трафик по сети Яндекс между ЦОДами, если да, то как? Во время шума о PRISM был разговор о том, что ЦОДы ИТ гигинтов США безопасные, но не транспорт между ними, где трафик и уходит на анализ.


                                            Вопросы российской реальности:
                                            1. Является ли ООО «Яндекс.Облако», с которым заключается договор об оказании услуг и который продает, судя по тарифам, исходящий интернет-трафик, оператором связи и есть ли у него лицензии в области связи? Если нет, то на каком основании продается интернет-трафик?
                                              0
                                              Тут в комментариях мы эту тему разворачивать сейчас не будем, так как у нас запланированы развернутые статьи, которые выйдут в блоге позже. Если вам ответ нужен сейчас, то можете написать мне в личку или обратиться в техподдержку.
                                                0
                                                Мне только учтонить: в т.ч. ожидается развернутая статья про регулирование в области связи по российскому законодательству? Очень смущает продажа трафика и отсутствие лицензий в договоре-оферте на сайте.
                                                  +1
                                                  Яндекс.Облако оказывает клиентам облачные услуги и услуги хостинга (услуги по размещению и обработке информации на вычислительных мощностях Яндекса), которые не относятся к услугам связи, что подтверждается позицией РКН rkn.gov.ru/it/control/p852.
                                                  Организация доступа к сервису через сеть «Интернет» является обязанностью клиента и не входит в обязанности Яндекса. Доступ к сети «Интернет» предоставляется Яндекс.Облаку операторами связи на основании договора оказания услуг связи.
                                                  В рамках сервиса тарифицируется исходящий во внешние информационные системы объём информации, проходящий через предоставленные клиенту виртуальные вычислительные мощности.
                                                +5
                                                Шифруется ли трафик по сети Яндекс между ЦОДами, если да, то как?
                                                Я всегда считал, что те, кому важно шифрование между серверами — изначально не доверяют никому, даже хостеру, даже с бумажкой от хостера, и сами поднимают себе зашифрованный тоннель.
                                                  +2
                                                  Вопрос был шире. Яндекс сообщает, что использует свое облако под собственные проекты: «питается своей собачьей едой». Не думаю, что каждому проекту в Яндекс разрешено тратить ресурсы на изобретение и поддержку своего способа шифрования каналов между ЦОД: это затраты не только на уровнях модели OSI. Это или является частью IaaS, или не является.
                                                  По-моему, если клиент не доверяет поставщику, то он не пользуется IaaS этого поставщика, т.к. он не доверяет не только каналам, но и ПО, firmware, «железу» и сотрудникам поставщика услуг. Не вижу ничего плохого, чтобы к красивым картинкам про много сотен гигабит между ЦОДами добавить слова про то, зашифрован трафик, или нет: это поможет заказчику построить свою модель рисков.
                                                  Уход же от темы ИБ на about:cloud, в статье и даже комментариях вызывает лишь большее недоверие.
                                                  Надеюсь, обещания и планы будут выполнены, маркетинг снимет с вопросов ИБ табу.
                                                +5
                                                Странно. Почему Яндекс.Облако отказывается привязывать карту от Яндекс.Денег во время создания платежного аккаунта?
                                                  –3
                                                  Почему Яндекс.Облако отказывается привязывать карту от Яндекс.Денег во время создания платежного аккаунта?


                                                  Во избежание форс-мажорных ситуаций.
                                                    +9
                                                    Ваши деньги с Яндекс карты и так у них. Привяжите другую.
                                                    0
                                                    Пара вопросов:
                                                    1. Планируется ли на Windows-серверах делать аренду MSSQL лицензий? Как на Azure. Без БД имхо варианты использования Windows очень ограничены.
                                                    2. Нигде на сайте не нашел упоминания ФЗ-152. Есть ли какие-то опции для операторов персональных данных?
                                                      0
                                                      2. Нигде на сайте не нашел упоминания ФЗ-152. Есть ли какие-то опции для операторов персональных данных?

                                                      Думаю, что стоит обратиться напрямую к автору статьи. Уверен, что у них найдется хорошее предложение ;)
                                                        +1
                                                        По вопросу 2. — При использовании вами Платформы Яндекс.Облако мы защищаем и обрабатываем вашу информацию в строгом соответствии с законодательством. Но платформа Яндекс.Облако предоставляет пользователям набор инструментов. Ответственность за то, как распоряжаться этими инструментами – лежит на самих пользователях. Это касается и обработки данных, т.к. пользователь платформы является оператором данных, которые он обрабатывает с использованием платформы. Чтобы вы могли принять обдуманное решение о том, как использовать нашу платформу для обработки данных в тех целях, которые вы определяете самостоятельно, Яндекс.Облако в настоящий момент проводит необходимые процедуры для определения того, каким уровням защищенности соответствует платформа.
                                                          +1
                                                          По вопросу 1. — Да, планируется. Работаем над этим.
                                                            0

                                                            Классно! Будем ждать. Спасибо за ответы.

                                                          0
                                                          А как с резервным копированием у вычислительных машин? Snapshot делается или иная технология?
                                                            0
                                                            А может стоит сразу делать отказоустойчивую архитектуру на уровне приложения и пользоваться соответствующими примитивами, которые дает облако? Это универсальный совет от любого облачного провайдера.
                                                            Учитывая, что Яндекс отключают свои ДЦ в целях учений: habr.com/company/yandex/blog/243033
                                                              +1
                                                              По дискам — есть снимки, которые автоматически реплицируется в нескольких зонах доступности. По поводу самих машин — да конца года в альфа тест выйдут балансировщик нагрузок и Instance groups.
                                                                0

                                                                Snapshot и его реплики не совсем то же самое, что резервная копия на обособленное хранилище / технологию. Вы эту часть забот о данных на откуп пользователям отдаёте?

                                                              0
                                                              Расскажите, пожалуйста, несколько слов про архитектуру Replicated Storage Layer.
                                                                0
                                                                В двух словах — это слой абстракции над физическими устройствами, который обеспечивает надёжное отказоустойчивое распределенное хранение данных с возможностью автоматического восстановления при отказах оборудования.

                                                                А вообще, посмотрите доклад Андрея Фомичёва на about:cloud.
                                                                  0
                                                                  Возможно в докладе есть ответ на мой вопрос, но все же: насколько понимаю, вы написали свое решение для распределенного хранения данных. А почему вы не использовали, например, ceph?
                                                                    0
                                                                    При анализе возможных вариантов решения задачи пришли к выводу, что ceph не позволит достигнуть требуемых показателей и получить нужные характеристики.
                                                                    Мы следовали принципу единообразия и однородности, не хотели добавлять дополнительный компонент, когда была возможность использовать практически готовую собственную разработку.
                                                                      0

                                                                      Возможно ли уточнить, каких именно показателей не позволяет достичь ceph (желательно в цифрах)? В чем заключается киллер-фича вашего решения кроме того, что оно позволяет обеспечить однородность?

                                                                    0
                                                                    Спасибо, рассказ про диски начинается с временной метки 3:34:09 этой записи трансляции.
                                                                  0
                                                                  Великолепные новости. Главное чтобы не «лагала» эта архитектура.
                                                                    +2
                                                                    Как насчёт exit-node тора?
                                                                      0
                                                                      Шутите, да?
                                                                        +1
                                                                        Я прочитал TOC, там ничего про это нет.
                                                                          0
                                                                          Зато там есть про исходящий трафик
                                                                        0
                                                                        Простите, не понял вопроса. Уточните пожалуйста.
                                                                          +3
                                                                          Разрешено ли вашими правилами запускать exit-node для сети TOR? Я ничего не нашёл в правилах использования. Некоторые хостеры (например, scaleway) разрешают, некоторые запрещают.
                                                                            0
                                                                            Мы запрещаем использовать сервис Облака для целей, нарушающих законодательство РФ. Если на ваших адресах будет обнаружена подобная активность (сканирование сетей, попытки организации атак на инфраструктуру Облака или хосты Интернет, организация DoS и прочая активность), ваш аккаунт будет заблокирован. Так как exit node для сети TOR потенциально может являться источником подобного трафика, мы не рекомендуем размещать у себя данное ПО.
                                                                              +1
                                                                              exit node для сети TOR потенциально может являться источником подобного трафика
                                                                              У вас как в анекдоте, «но аппарат то есть...».
                                                                              Любой код, размещенный в облаке,
                                                                              потенциально может являться источником подобного трафика.
                                                                              Выходит, что не рекомендуется размещать в вашем облаке любое ПО, так как оно
                                                                              потенциально может являться источником подобного трафика.
                                                                                +1
                                                                                О, как интересно. И вы по первой abuse блокируете аккаунт пользователя? Я бы сказал, что для бизнеса как-то не очень надёжно звучит.
                                                                          +4
                                                                          Яндекс! Как же так??? Где же IPv6??? Или он хорошо спрятался?
                                                                          +1
                                                                          Попал на тестовый период. Понял пару домашних проектов. Аптайм хороший. Проблем вообще не возникло. Сервисом доволен.
                                                                            –4

                                                                            Почему у российского сервиса ориентированного на массовую аудиторию нет перевода на русский язык?
                                                                            раздел Обзор — статус — "CREATING" (почему не СОЗДАН?)
                                                                            раздел Квоты — всё на английском!
                                                                            Пытаетесь угодить пользователям Amazon Cloud — так вы для них всё равно — г… но — потому что российский сервис, достаточно почитать комментарии про яндекс.телефон

                                                                              +1
                                                                              Creating — если что — переводится как «создание», а не «создан».
                                                                              А, во-вторых, я уверен, что интерфейс и его консистентность ещё приведут в порядок )
                                                                              В третьих, какое отношение я.телефон имеет к облаку? У Яндекса, как у любой большой компании, есть и успешные продукты, и провальные
                                                                                –1
                                                                                Почему ты сервис нидерландской фирмы называешь «российским»? Это сервис крупной международной фирмы со штаб-квартирой в Нидерландах работающий в американской(международной) сети интернет.
                                                                                Он не работает в «Чебурашкосети», он не работает на считателях из бересты. Он работает в интернете на компьютерах.
                                                                                0
                                                                                Creating — если что — переводится как «создание», а не «создан».
                                                                                Вот именно поэтому и надо переводить… я например не очень английский знаю, ньюансы приходится домысливать, часто не всегда правильно… :(
                                                                                  +2
                                                                                  Да у вас и с русским то, простите меня, не сильно. Мистер «ньюанс»
                                                                                  0
                                                                                  А можно более подробно рассказать как с нуля запускается кластер с бутстрап ноды? Как потом добавляется доп сущность, она коннектиться к бутстрап ноде или к уже запущенным сущностям в виртуалках?
                                                                                    0
                                                                                    Более подробно в комментариях рассказать трудно :) Но, если в двух словах то вот: при первом запуске поднимается единственная нода со всеми сервисами, дальше она поднимает все остальные сервисные виртуальные машины и затем она выключается
                                                                                    В Яндекс Облаке есть общая база данных для хранения метаинформации – Yandex Database (YDB). Все новые ноды просто сами прописывают себя в этой базе данных.
                                                                                      0
                                                                                      Спасибо. То есть YDB в терминологии микросервисов это регистр, где каждый сервис(нода) прописывает свой айди и адрес как к ней попасть. Бутстрап нода это просто савокупность всех нужных микросервисов в одном сервере, которые могут запустить остальные сущности.
                                                                                      Отсюда вытекает следующий вопрос — а как быть уверенным в том, что с бутстрап ноды поднимется все, что нужно после очередного обновления?
                                                                                        0
                                                                                        А причем тут микросервисы? Я предполагаю, что описываемые инфраструктурные сервисы вполне себе тяжеловесны и под определение микро- подпадают весьма условно.
                                                                                          0
                                                                                          Я просто сравнил с микро, хотя есть смутная надежда, что все сделано в микросервисах, которые можно легко обновлять заменяя на ходу.
                                                                                            0
                                                                                            Можно ноды целиком выкидывая из оборота…
                                                                                              0
                                                                                              Да вроде как не очень удобно, учитывая скорость в 25Гбит вроде, при активном использовании памяти и диска виртуалками критические ошибки так не пофиксишь…
                                                                                              Вроде как с микросервисами все просто, задеплоил новую версию на ноду, гейт и тп переключились на новую версию автоматом, старую выключил…
                                                                                    0

                                                                                    Интересно, как при self hosting подходе защищаются от того, что при каких-то проблемах, например аппаратных, по принципу домино вылетит вообще все.

                                                                                      +1
                                                                                      Конечно если выключатся все три дата-центра — то тут ничего не спасет, но в других случаях помогает резервирование. Все спроектировано исходя из предположения о том, что любой аппаратный элемент может вылететь. И как написано в статье, YDB (хранилище метаданных) имеет глобальное резервирование (3 реплики в разных зонах доступности)
                                                                                        0
                                                                                        И как написано в статье, YDB (хранилище метаданных) имеет глобальное резервирование (3 реплики в разных зонах доступности)

                                                                                        очень интересно как обеспечивается скорость работы YDB при работе в кросс-ДЦ режиме. Это же явный компромисс между eventual consistency (данные когда-нибудь доедут, зато быстрые чтения/записи) и между кворумом на запись (медленно, зато надежно).
                                                                                          0
                                                                                          мне кажется от хранилища метаданных не нужно ожидать умопомрачительной скорости работы.
                                                                                            0
                                                                                            Здесь больше технологический вопрос. YDB ведь не только про метаданные, но и про сами данные ;)
                                                                                      0
                                                                                      Кажется, что-то пошло не так…
                                                                                      Произошла непредвиденная ошибка. Попробуйте обновить страницу через некоторое время.

                                                                                      ХабраЭффект ???
                                                                                        0
                                                                                        Ребят, извините, я видимо нe особо далекий все-таки, но так и не понял о чем это.
                                                                                        Это свое облако типа OwnCloud? Это аналог Амазона? Это что-то типа microsoft AI services? Или типа того чем был Parse?
                                                                                        Я никогдa не пользовался OpenStack, хотелось бы побольше инфы о том что конкретно произошло, что с этим можно делать, и почему целую статью написали.
                                                                                          0
                                                                                          OwnCloud — это про другое. Это хранилище с веб-интерфейсом, развернутое на чьих-то (своих, арендованных — не важно) мощностях.
                                                                                          Это аналог Амазона?

                                                                                          Да, аналог таких «облаков» как AWS, Google Cloud, MS Azure.
                                                                                          Я никогдa не пользовался OpenStack, хотелось бы побольше инфы о том что конкретно произошло, что с этим можно делать, и почему целую статью написали.

                                                                                          написали же — что внутри НЕ OpenStack. Читали по диагонали?
                                                                                          0
                                                                                          Решил сходить посмотреть, что это такое, но тут же пригорело — невозможно пользоваться навигацией, стандартный средний клик и мы отрываемся не в новой вкладке, а в это же. Хорошо, что хоть оставили правый клик
                                                                                            0
                                                                                            Использование единого пула унифицированных аппаратных ресурсов — одно из принципиальных решений

                                                                                            Как вы планируете увеличивать вычислительную мощность спустя пару лет?
                                                                                            Унифицированное «железо» спустя пару лет морально устареет.
                                                                                            Если я правильно понимаю, вам придется либо докупать морально устаревшее «железо», либо менять весь парк.
                                                                                              0
                                                                                              Унифицированное — это не означает, что у этого железа может быть несколько поколений.
                                                                                              Амазон же тоже на унифицированном железе работает, но все время добавляет новые типы инстансов, которые существуют, как я понимаю, только на более новых нодах виртуализации.
                                                                                              Как вы планируете увеличивать вычислительную мощность спустя пару лет?

                                                                                              Если для клиента типы инстансов останутся те же, то вопрос бессмысленен отчасти ))))
                                                                                                +1
                                                                                                Все верно. Здесь не имеется ввиду «стандартизация» железа. Физические аппаратные ресурсы будут частями добавляться и модернизироваться по мере необходимости.
                                                                                              +1
                                                                                              Это типа амазоновского aws, но не весь функционал. Российский аналог, там, вроде, как архитектор всего этого дела пришел из aws.amazon, поэтому ждем качества. От OpenStack они отказались, написано, вначале статьи, — свою технологию кластеризации запилили, надеемся — качественно.
                                                                                                0
                                                                                                AlexandrSurkov

                                                                                                1. Планируется ли аналоги Lambda и др. serverless компонентов? Если да, то на какой примерно период ориентироваться?
                                                                                                2. Планируется ли провайдер для Terraform?
                                                                                                3. Будет ли клиент к API облака на Python?
                                                                                                  0
                                                                                                  1. думаю, что да.
                                                                                                  2. я же написал выше. Читаете комментарии? Или лучше написать повторно?
                                                                                                  3. в смысле? существующий cloud.yandex.ru/docs/cli/quickstart (ссылка взята из Гугла) чем не устраивает?
                                                                                                    0
                                                                                                    1 — Да, работа уже ведется. Будут в следующем году.
                                                                                                    2 — Уже почти готов. Находится в Alpha тестировании.
                                                                                                    3 — SDK на Go и Python уже публично доступны: github.com/yandex-cloud
                                                                                                    +1
                                                                                                    А есть ли cloud среда, которая позволяет безболезненно переносить решение (web-app, lambda, end-point, SQS, DBMS) между cloud и on-prem?

                                                                                                    В нашем проекте мы вынуждены ориентироваться как на on-prem клиентов, которые в силу разных policies and regulations не могут хостить данные за пределами компании, так и мелких клиентов, согласных на SaaS (удобно для нас).
                                                                                                    Так вот, мы как уж на сковородке — пытаемся сделать архитектуру с lambda на AWS и с контейнерами для on-prem deployment.
                                                                                                    Может Яндекс планирует scalable решение с возможностью переноса on-prem?
                                                                                                      0
                                                                                                      Я так понимаю, что terraform'а не хватает? Я видел подобную абстракцию у Nutanix (Blueprints) и еще у EPAM есть свое облако, которое как я понял, подключает другие облака в каком-то унифицированном виде как регионы этого EPAM Cloud ( cloud.epam.com/site/develop/maestro_c=l=i )
                                                                                                        +1
                                                                                                        Спасибо за советы.
                                                                                                        Речь не столько о переносе инфраструктуры, сколько о портируемости компонентов структуры.
                                                                                                        Один из самых ресурсоемких — Lambda функции.
                                                                                                        Если у Яндекс, по аналогии с AWS, будут Lambda, то при переносе на on-prem желательно использовать те же Lambda функции, чтоб не переписывать код.
                                                                                                        Если Lambda начитывает или записывает в SQS, то желательно иметь возможность развернуть такой-же SQS on-prem, чтоб не адаптировать Lambda под другую очередь.
                                                                                                          0
                                                                                                          Я так понимаю, что sqs — это вендорское решение Амазона?
                                                                                                          Если да, то вероятность его появления в любом другом облаке (да хотя бы Azure & Google) нулевая.
                                                                                                          Так что тут дело даже не в потенциальной возможности переборки лямбды под конкретную платформу, а отсутствия унифицированных примитивов БД, очередей и т.п.
                                                                                                          Хотя я возможно не прав и такие универсальные интерфейсы, написанные под node.js, python, go etc. появятся в ближайшее время.

                                                                                                          А насчёт сделать все переносимо… Ну, никто же не мешает поверх того же Яндекса (compute node) развернуть куб, поверх него какой-нибудь openwhisk и получить свой аналог лямбды…
                                                                                                        0

                                                                                                        Эту модель рекламирует Oracle, 3 части — публичное оьлако-частное облако-частный сервер, нг это касается только приложений, и это привязка к одной экосистеме

                                                                                                          0
                                                                                                          А чем тогда Оракл отличается от IBM, например?
                                                                                                            0

                                                                                                            Про ibm я просто не в курсе. Возможно ничем(если не смотреть на конкретные продукты внутри экосистемы и железо).

                                                                                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                      Самое читаемое