Облачные вычисления *

По данным Statista, к 2025 году объём рынка big data вырастет до 175 зетабайт против 41 в  2019 (график). Чтобы получить работу в этой сфере, нужно понимать, как работать с большими данными, хранящимися в облаке. Cloud4Y подготовил список из 12 платных и бесплатных курсов по инжинирингу данных, которые расширят ваши знания в этой сфере и могут стать хорошей отправной точкой на пути к облачным сертификациям.

Во многих компаниях стоит задача быстрого развертывания кластеров Kubernetes. Хорошо, когда создание кластера происходит автоматически. Но ещё лучше, когда пользователь, например, разработчик может создать кластер и потом управлять им «по кнопке», не привлекая для этого devops’ов. В своей облачной лаборатории мы посмотрели, как с созданием кластера Kubernetes справляется платформа управления гибридным облаком Morpheus: автоматизировали развертывание и оценили возможности управления и масштабирования кластера.

Привет, меня зовут Дмитрий Краснов. Уже более пяти лет я занимаюсь администрированием кластеров Kubernetes и построением сложных микросервисных архитектур. В начале этого года мы запустили сервис по управлению кластерами Kubernetes на базе Containerum. Пользуясь поводом расскажу, что представляет собой этот самый Kubernetes и чем интеграция с вендором отличается от open source.

Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.

Карантин, самоизоляция — эти факторы здорово повлияли на онлайн-развитие бизнеса. Компании меняют концепции взаимодействия с клиентами, появляются новые услуги и сервисы. В этом есть свои преимущества. И пускай часть организаций вернётся к традиционному формату работы сразу же, как только будут сняты все ограничения. Но многие, сумевшие оценить преимущества интернета, продолжат развиваться в онлайне. Это, в свою очередь, позволит развиваться дальше многим интернет-компаниям, в том числе и облачным сервисам. А как вообще развивались облака? Cloud4Y знакомит вас с максимально короткой и простой историей развития отрасли.

Привет, Хабр!

А вы любите летать на самолетах? Я обожаю, но на самоизоляции полюбил еще и анализировать данные об авиабилетах одного известного ресурса — Aviasales.

Сегодня мы разберем работу Amazon Kinesis, построим стримминговую систему с реал-тайм аналитикой, поставим NoSQL базу данных Amazon DynamoDB в качестве основного хранилища данных и настроим оповещение через SMS по интересным билетам.

Все подробности под катом! Поехали!

Мы уже рассказывали об инженерах из Бристоля, которым удалось телепортировать фотон с одного чипа на другой. Сегодня продолжаем тему — поговорим о технологии, которая позволит строить оптические каналы передачи данных на кремниевых чипах и продлит действие закона Мура.

Что еще у нас есть на Хабре: новая лицензия для приложений в Open Source Initiative.

В ежегодном облачном прогнозе Dave Bartoletti, вице-президент и главный аналитик Forrester, рассказал, что облачный рынок — SaaS, PaaS и IaaS — вырастет до 299,4 млрд долларов в 2020 году. Но что это значит на самом деле и что изменится для бизнеса и IT-специалистов? Команда Mail.ru Cloud Solutions собрала прогнозы экспертов, чтобы разобраться в ситуации.  

Экономика стагнирует, в магазинах дефицит гречки, компании вынуждены сокращать закупки оборудования… Однако вычислительные мощности все равно нужны. Вот он, тот самый момент, когда нужно по максимуму использовать облачные ресурсы. Мы протестировали в нашей лаборатории множество систем для управления гибридными облаками и выбрали лучшее. Им оказался лидер квадранта Gartner в сфере CPM – платформа Morpheus. Аргументируем ниже.

Однажды коллега поделился размышлениями об API для распределённых вычислительных кластеров, а я в шутку ответил: «Очевидно, что идеальным API был бы простой вызов telefork(), чтобы твой процесс очнулся на каждой машине кластера, возвращая значение ID инстанса». Но в итоге эта идея овладела мной. Я не мог понять, почему она такая глупая и простая, намного проще, чем любой API для удалённой работы, и почему компьютерные системы, кажется, не способны на такое. Я также вроде бы понимал, как это можно реализовать, и у меня уже было хорошее название, что является самой трудной частью любого проекта. Поэтому я приступил к работе.

За первые выходные сделал базовый прототип, а второй уикенд принёс демку, которая могла телефоркнуть процесс на гигантскую виртуальную машину в облаке, прогнать рендеринг трассировки путей на множестве ядер, а затем телефоркнуть процесс обратно. Всё это завёрнуто в простой API.

На видео показано, что рендеринг на 64-ядерной VM в облаке завершается за 8 секунд (плюс 6 секунд на телефорк туда и обратно). Тот же рендеринг локально в контейнере на моём ноутбуке занимает 40 секунд:

Hyperledger Fabric — это блокчейн-платформа с открытым исходным кодом от Linux Foundation. С её помощью можно создавать блокчейн-приложения и управлять доступом и разрешениями для данных в цепочке блоков. Hyperledger Fabric стоит использовать в том случае, если требуется создать частную блокчейн-сеть или установить ограничения на то, какие транзакции может видеть каждая сторона.

В документации Hyperledger Fabric неплохо расписано создание блокчейн-сети на одной машине с помощью Docker, где каждый участник сети представляет собой отдельный контейнер. Но не описан процесс настройки сети на нескольких физических или виртуальных машинах. Об этом и пойдет речь в данной статье.

Недавно увидел на Хабре статью «Распределенная игровая сеть как альтернатива GFN» и решил написать о своем опыте участия в такой сети. Так получилось, что я один из первых участников программы, описанной в статье. И я не геймер, а как раз владелец нескольких производительных ПК, мощности которых используются сетью.

Чтобы сразу понятно было о чем речь — мои сервера используются подключающимися к сети геймерами сервиса облачного гейминга. В статье, о которой говорилось выше, упоминаются SONM, Playkey и Drova. Я опробовал в работе сервис от Playkey и теперь постараюсь рассказать о нюансах распределенной сети и работы в ней.

Привет, Хабр! Сегодня мы хотим рассказать о том, что представляет из себя платформа Azure Stack HCI. В том числе, что это вообще такое, из какого железа собрано, какой софт содержит, как работает, и вот это вот все. Присоединяйтесь!

Это гостевая публикация от ребят из «АльтаСтор». «АльтаСтор» — это системный интегратор, специализирующийся на построении решений для надежного хранения данных. Благодаря накопленной экспертизе в построении кластеров отказоустойчивости и HCI, для каждого клиента подбирается индивидуальное решение, наилучшим образом подходящее для его задач.

Приглашаем вас на вебинар «ИИ для разработчиков», который познакомит вас с решениями Microsoft для разработчиков в области Машиного Обучения. Мы рассмотрим теорию и практику использования готовых технологий Azure ML и продемонстрируем, как разрабатывать собственные модели. А также затронем вопросы интеграции моделей в практики DevOps.

Вебинар пройдет 16 апреля с 10.00 до 12.00. Регистрируйтесь. А программу изучайте под катом!

Привет! В прошлом посте я рассказал о возможностях VMware vCloud Availability (vCAV) и показал, как организовать Disaster Recovery (DR) и миграцию в рамках нескольких площадок облачного провайдера. Сегодня посмотрим, как с помощью vCAV восстановиться или просто смигрировать в облако сервис-провайдера с on-premise-площадки. В нашем примере будем настраивать DR с локальной площадки заказчика в облако в СПб. 



На этапе подготовки нужно решить, как обеспечить доступ к серверам после их восстановления в облаке. Для этого нужно организовать сетевую связность между локальной площадкой и облаком. Об основных способах подключения к облаку я писал здесь.

Для удобства сделал быструю навигацию по инструкции:

• установка и настройка vCloud Availability Appliance for Tenants;
  
• создание DR-задания;
  
• тестовое восстановление;
  
• аварийное переключение между площадками.
  
• обратное переключение.
  

Даже в дни тотальной «социальной турбулентности» Huawei продолжает обучать своих партнёров и заказчиков. Разумеется, ради нашего общего блага теперь — строго онлайн. На апрель и май у нас намечена целая серия вебинаров: часть из них посвящена продуктовой и технологической стратегии Huawei Enterprise, часть — обзору конкретных продуктов и проектов. Для тех, кому удобнее читать, чем смотреть, мы решили «упаковывать» материал вебинаров в текстовый формат. Предлагаем вашему вниманию первый такой материал, с панорамой сетевых решений Huawei и продуктовой стратегии компании на 2020 год. О свежем образовательном контенте мы обязательно будем сообщать в соцсетях — следите за апдейтами.

Гонка вычислительных мощностей – это непрерывный процесс, который изо дня в день сдвигает потолок возможностей современных компьютеров чуть выше. В некоторые дни, однако, результаты этой фоновой работы предстают перед нами в особенно наглядном виде. На прошлой неделе в Сети появилась обновленная версия рейтинга суперкомьютеров стран СНГ, созданная совместными усилиями Научно-исследовательского вычислительного центра МГУ имени М.В.Ломоносова и Межведомственного Суперкомпьютерного Центр РАН. Под катом вы найдете краткий обзор изменений и общих тенденций, созданный на базе материалов сайта ТОП50.

Хотите создать новое приложение, разработать и протестировать или запустить небольшие производственные рабочие нагрузки с помощью Azure Cosmos DB? Наш новый уровень бесплатного пользования позволяет начать работу без затрат и сэкономить деньги при создании и развитии новых приложений.



При включенном бесплатном уровне Azure Cosmos DB вы получаете первые 400 RU/s пропускной способности и 5 ГБ хранилища в своей учетной записи бесплатно каждый месяц на весь срок действия учетной записи. Это означает, что вы можете начать с малого и уверенно расти, зная, что ваше приложение будет работать в высокопроизводительной службе баз данных. Вы будете платить только если ваша учетная запись превышает 400 RU/s и 5 ГБ. Кроме того, если в вашем приложении много контейнеров, вы можете создать до 25 контейнеров в базе данных с общей пропускной способностью, и все они будут использовать бесплатные 400 RU/s. Вы можете иметь до одной бесплатной учетной записи Azure Cosmos DB для каждой подписки Azure.

В США довольно популярен сервис Service Experts по удалённому найму сантехников, специалистов по отоплению, кондиционированию воздуха и так далее. В России тоже есть аналогичные сайты: очень удобно быстро подобрать мастера. Хотя в нынешних условиях лучше самостоятельно прибить эту полку, чтобы вообще ни с кем не контактировать. Так или иначе, недавно компания USAFact (провайдер скрининга для тысяч компаний, в том числе Service Experts) подписала договор с GlobalSign на индивидуальное внедрение сервиса цифровой подписи (Digital Signing Service), который был развёрнут за четыре месяца — и теперь действует для предварительного скрининга всех мастеров Service Experts.

Это пример, как можно организовать удалённую работу наёмных сотрудников с корректным оформлением документов. Актуально в нынешней ситуации.

Модераторы сабреддита «PC Master race» призвали владельцев мощных игровых видеокарт присоединиться к научным облачным вычислениям Стэнфордского проекта Folding@Home, который прямо сейчас занимается расчетом моделей сразу по восьми направлениям для борьбы с COVID-19. Инициативу сообщества Reddit уже поддержала компания Nvidia, которая призвала через твиттер своих потребителей предоставить ученым вычислительные мощности своих видеокарт:


Важно отметить, что сабреддит «PC Master race» не пытается хайпануть на теме коронавируса: поддержка Folding@Home и первый систематизированный мега-тред, посвященный проекту, был опубликован еще 4 месяца назад, когда о коронавирусе даже не слышали. Кроме того, пользователи упоминали F@H в сабреддите на протяжении последних пяти лет.

Как принять участие в коллективных вычислениях, даже если вам плевать на COVID-19 и вы хотите, чтобы побыстрее нашлось лекарство от рака — под катом.

Четвертая версия OpenShift вышла сравнительно недавно. Актуальная на текущий момент версия 4.3 доступна с конца января и все изменения в ней — это или нечто совершенно новое, чего в третьей версии не было, или крупное обновление того, что появилось в версии 4.1. Все, что мы сейчас расскажем, нужно знать, понимать и учитывать тем, кто работает с OpenShift и планирует переходить на новую версию.

С выпуском версии OpenShift 4.2 Red Hat упростила работу с Kubernetes. Появились новые инструменты и плагины для создания контейнеров, CI/CD-конвейеров и serverless-развертываний. Нововведения дают разработчикам возможность сосредоточиться на написании кода, а не на разбирательствах с Kubernetes.

Собственно, что нового в версиях OpenShift 4.2 и 4.3?