Облачные вычисления *

В начале июля группа инженеров из Red Hat и Бостонского университета выпустила whitepaper, в котором предложила сменить монолитное ядро Linux на архитектуру unikernels. Мы решили разобраться в материале и обсудить реакцию ИТ-комьюнити на это предложение.

Kubernetes (K8s) — это мощная платформа, которая за последние пять лет кардинально изменила методы работы с программным обеспечением. Она пользуется активным спросом, и поэтому некоторые компании стали предлагать Kubernetes-as-a-service. Cloud4Y предлагает познакомиться с наиболее интересными дистрибутивами K8s.

У платформы есть сильное open-source комьюнити, которое привносит в продукт множество инноваций. Отсюда происходят и некоторые из текущих недостатков: трудность в установке, сложность в настройке. Во многом Kubernetes похож на ядро Linux: он предоставляет среду для запуска программного обеспечения, но не предоставляет никаких инструментов для управления.

Пиво — один из старейших ферментированных напитков, известных человеку. Его воспевали ещё в третьем тысячелетии до н. э. в шумерском эпосе о Гильгамеше. У шумеров даже была поговорка: «Не знать пива – не знать радости». Современное пиво отличается от напитка тех времён. Более того, появилось большое количество крафтовых пивоварен, в которых пивные энтузиасты предлагают новые, удивительно вкусные и ароматные сорта.

Однако пивовары, стремясь усовершенствовать свой продукт и предложить рынку нечто новое, не останавливаются на достигнутом, используя всё новые технологические решения. Добрались они и до искусственного интеллекта. Сегодня мы расскажем про наиболее интересные проекты, связанные с внедрением AI в процесс пивоварения и пивопотребления.

Часть 1. Про CPU
Часть 2. Про Memory

Сегодня разберем метрики дисковой подсистемы в vSphere. Проблема со стораджем – самая частая причина медленной работы виртуальной машины. Если в случаях с CPU и RAM траблшутинг заканчивается на уровне гипервизора, то при проблемах с диском, возможно, придется разбираться с сетью передачи данных и СХД.

Тему буду разбирать на примере блочного доступа к СХД, хотя при файловом доступе счетчики примерно те же.

Сегодня многие компании в своей работе активно используют не только компьютеры, но и мобильные устройства и ноутбуки. В связи с этим появляется проблема управления этими устройствами, используя унифицированное решение. Sophos Mobile успешно справляется с этой задачей и открывает большие возможности для администратора:

1. Управление мобильными устройствами, принадлежащими компании;
2. BYOD, контейнеры доступа к корпоративным данным.

Более подробно о решаемых задачах я расскажу под катом…

Говорим о самом быстром суперкомпьютере в США и других участниках «эксафлопсной гонки».


Фото — OLCF at ORNL — СС BY / Мощнейший суперкомпьютер на сегодняшний день — Summit

Проект Aurora

Разработкой эксафлопсного компьютера Aurora занимается Министерство энергетики США (DOE). Его строят в Аргоннской национальной лаборатории недалеко от Чикаго. Aurora будет в пять раз мощнее текущего мирового лидера — вычислительной системы Summit от IBM, установленной в Национальной лаборатории Оук-Ридж, которая также принадлежит Министерству энергетики США.

Сегодня мы хотим рассказать о такой полезной функции Яндекс.Облака как прерываемые виртуальные машины. Это специальная опция, которую вы можете выбрать при создании виртуальной машины, чтобы использовать вычислительные ресурсы по сниженной цене. Что же такого особенного в прерываемых виртуальных машинах, почему они стоят дешевле обычных и в каких случаях разумно их применять?

Заголовок этого поста — прямая отсылка к диаграмме «Времена задержек, которые должен знать каждый программист». В настоящее время есть несколько версий этой диаграммы, и трудно установить оригинального автора. Некоторые говорят, что это Джефф Дин.

Если вы работаете над проектом, который должен достичь большого масштаба, необходимо сбалансировать несколько проблем. Какие предположения мы делаем и как их подтвердить? Как быстро выйти на рынок? Будет ли наш дизайн поддерживать ожидаемый масштаб?

Один из вопросов масштабирования — стоимость инфраструктуры. Облачные провайдеры позволяют создавать тысячи процессоров и размещать терабайты данных одним щелчком мыши. Но это стоит дорого, и то, что незначительно для нескольких тысяч пользователей, может стать огромной дырой в бюджете, когда вы выйдете на миллионы пользователей.

Как читать эту статью: прошу прощения за то, что текст получился таким длинным и хаотичным. Чтобы сэкономить ваше время, я каждую главу начинаю со вступления «Чему я научился», в котором одним-двумя предложениями излагаю суть главы.

«Просто покажи решение!» Если вы хотите всего лишь увидеть, к чему я пришёл, то переходите к главе «Становлюсь изобретательнее», но я считаю, что интереснее и полезнее почитать про неудачи.

Недавно мне поручили настроить процесс обработки большого объёма исходных последовательностей ДНК (технически это SNP-чип). Нужно было быстро получать данные о заданном генетическом местоположении (которое называется SNP) для последующего моделирования и прочих задач. С помощью R и AWK мне удалось очистить и организовать данные естественным образом, сильно ускорив обработку запросов. Далось мне это нелегко и потребовало многочисленных итераций. Эта статья поможет вам избежать некоторых моих ошибок и продемонстрирует, что же у меня в конце концов получилось.

С февральского Love Kubernetes прошла, нам кажется, вечность. Немного скрасило разлуку только то, что мы успели войти в Cloud Native Computing Foundation, сертифицировать наш дистрибутив Kubernetes по Certified Kubernetes Conformance Program, а ещё запустить в сервисе Mail.ru Cloud Containers свою реализацию Kubernetes Cluster Autoscaler.

Пришло время для третьего @Kubernetes Meetup! Вкратце:

• Газпромбанк расскажет, как они используют Kubernetes в своём R&D для управления OpenStack;
• Mail.ru Cloud Solutions — как масштабировать приложения в K8S с помощью скейлеров и как готовили свою реализацию Kubernetes Cluster Autoscaler;
• а агентство Wunderman Thompson — как Kubernetes помогает им оптимизировать подход к разработке и почему в DevOps больше Dev, чем Ops.

Встреча пройдет 21 июня (пятница) в 18:30 в московском офисе Mail.ru Group (Ленинградский проспект, д. 39, стр. 79). Регистрация обязательна и закрывается 20 июня в 11:59 утра (или раньше, если закончатся места).

Привет, хабровчане! Согласно статистике, рынок облачных услуг в России постоянно набирает силу. Как никогда в тренде гибридные облака — несмотря на то, что сама технология далеко не нова. Многие компании задумываются, насколько целесообразно содержать и обслуживать огромный парк железа, в том числе, нужного ситуативно, в виде частного облака.

Сегодня мы поговорим о том, в каких ситуациях использование гибридного облака будет оправданным шагом, а в каких может создать проблемы. Статья будет полезна тем, кто ранее не имел серьезного опыта работы с гибридными облаками, но уже присматривается к ним и не знает, с чего начать.

В конце статьи приведем чек-лист хитростей, которые помогут вам при выборе облачного провайдера и в настройке гибридного облака.

Всех заинтересованных просим пройти под кат!

Часть 1. Про CPU
Часть 3. Про Storage

В этой статье поговорим про счетчики производительности оперативной памяти (RAM) в vSphere.
Вроде бы с памятью все более однозначно, чем с процессором: если на ВМ возникают проблемы с производительностью, их сложно не заметить. Зато если они появляются, справиться с ними гораздо сложнее. Но обо всем по порядку.

Вы бы предпочли 10 000 часов обработки отснятого материала на 100 машинах или один час на 1 000 000 машин? Цена одинаковая. Добро пожаловать в облако.

Как и в случае с футболом, на первый взгляд непонятно, как связаны между собой облачные решения и киноиндустрия. Но если посмотреть на методы, которые используются в производстве фильмов, то причины использования облачных систем становятся очевидными.

Часть первая. Вводная
Часть вторая. Настройка правил Firewall и NAT
Часть третья. Настройка DHCP
Часть четвертая. Настройка маршрутизации
Часть пятая. Настройка балансировщика нагрузки

Сегодня мы посмотрим на возможности настройки VPN, которые предлагает нам NSX Edge.

В целом мы можем разделить VPN-технологии на два ключевых вида:

• Site-to-site VPN. Чаще всего используется IPSec для создания защищенного туннеля, например, между сетью главного офиса и сетью на удаленной площадке или в облаке.
  
• Remote Access VPN. Используется для подключения отдельных пользователей к частным сетям организаций с помощью ПО VPN-клиента.

NSX Edge позволяет нам использовать оба варианта.
Настройку будем производить с помощью тестового стенда с двумя NSX Edge, Linux-сервера с установленным демоном racoon и ноутбука с Windows для тестирования Remote Access VPN.

В Microsoft мы сфокусированы на идее, которая заключается в том, чтобы дать разработчикам возможность быстрее создавать качественные приложения. Одним из способов достижения этой цели является предоставление ряда продуктов и услуг, охватывающих все этапы жизненного цикла разработки программного обеспечения. Это включает в себя IDE и инструменты DevOps, облачные платформы приложений и данных, а также, операционные системы, искусственный интеллект, IoT-решения и многое другое. Все они сосредоточены вокруг разработчиков, как отдельных лиц, работающих в командах и организациях, а также членов сообществ разработчиков.

GitHub – это одно из крупнейших сообществ разработчиков, и для миллионов разработчиков по всему миру их идентификация на GitHub стала критическим аспектом их цифровой жизни. Признавая это, мы рады объявить об улучшениях, которые помогут пользователям GitHub легче начать работу с нашими службами разработчиков, включая Azure DevOps и Azure.

Если вы администрируете виртуальную инфраструктуру на базе VMware vSphere (или любого другого стека технологий), то наверняка часто слышите от пользователей жалобы: «Виртуальная машина работает медленно!». В этом цикле статей разберу метрики производительности и расскажу, что и почему «тормозит» и как сделать так, чтобы не «тормозило».

Буду рассматривать следующие аспекты производительности виртуальных машин:

• CPU,
• RAM,
• DISK,
• Network.

Начну с CPU.

Для анализа производительности нам понадобятся:

• vCenter Performance Counters – счетчики производительности, графики которых можно посмотреть через vSphere Client. Информация по данным счетчикам доступна в любой версии клиента (“толстый” клиент на C#, web-клиент на Flex и web-клиент на HTML5). В данных статьях мы будем использовать скриншоты из С#-клиента, только потому, что они лучше смотрятся в миниатюре:)
• ESXTOP – утилита, которая запускается из командной строки ESXi. С ее помощью можно получить значения счетчиков производительности в реальном времени или выгрузить эти значения за определенный период в .csv файл для дальнейшего анализа. Далее расскажу про этот инструмент подробнее и приведу несколько полезных ссылок на документацию и статьи по теме.

21 мая 2019 Wolfram Researh объявили о том, что они дали доступ к Wolfram Engine для всех разработчиков софта. Вы можете скачать его и использовать в своих некоммерческих проектах по ссылке

Свободный Wolfram Engine для разработчиков дает им возможность использовать Wolfram Language в любом стеке разработки. Wolfram Language, который доступен в виде песочницы — это мультипарадигмальный вычислительный язык, лежащий в основе самых известных продуктов Wolfram: Mathematica и Wolfram Alpha. Бесплатный Wolfram Engine также имеет полный доступ к базе знаний Wolfram и ее предварительно подготовленным нейронным сетям. Но для его использования вам необходимо оформить бесплатную подписку на Wolfram Cloud.

По словам аналитиков из IHS Markit, гибридные системы хранения данных (СХД) на базе HDD и SSD в этом году начнут пользоваться меньшим спросом. Обсуждаем сложившуюся ситуацию.


Фото — Jyrki Huusko — CC BY

В 2018 году на долю флеш-массивов пришлось 29% рынка систем хранения. На гибридные решения — 38%. IHS Markit убеждены, что в этом году SSD-накопители выйдут в лидеры. По их оценкам, доход от продаж флеш-массивов вырастет до 33%, а от гибридных — снизится до 30%.

Низкий спрос на гибридные системы эксперты связывают с сокращением рынка HDD. В IDC ожидают, что к 2021 году число производимых HDD снизится до 284 млн устройств — это на 140 млн меньше, чем три года назад. Объём рынка за тот же период сократится на 750 млн долларов. Statista подтверждает этот тренд, по данным аналитического ресурса, с 2014 года объем производимых HDD сократился на 40 млн устройств.

Мы будем вести прямую трансляцию на Хабре и в нашем Telegram-канале.

/ фото Benjamin Horn CC BY

EMPOWER 2019 — это ежегодная встреча партнеров VMware. Изначально она была частью более глобального события — VMworld — конференции для знакомства с технологическими новинками ИТ-гиганта (кстати, в нашем корпоративном блоге мы разбирали некоторые инструменты, анонсированные на минувших эвентах). В прошлом году EMPOWER решили провести в формате отдельного мероприятия — этого, по словам организаторов, хотело большое количество партнеров. Вместе со сменой формата увеличились и объемы контента.

23 мая | 9:30 – 19:00
Офис Microsoft, БП Крылатские Холмы, ул. Крылатская 17к1, Переговорные комнаты Уран, Юпитер, Сатурн
Москва, Россия

Распространение облачных технологий постепенно изменяет методы разработки приложений, и перед программистами возникают новые сложные задачи. Приложения не консолидированы, операции выполняются параллельно и асинхронно. Контейнеры фактически становятся стандартом в вопросах модернизации приложений в облаке.

Примите участие в Microsoft Azure Developer Camp — бесплатном техническом мероприятии для разработчиков, которое состоится 23 мая в Москве. В рамках тренинга вы получите знания о возможностях Azure и практические навыки по миграции и модернизации приложений и инфраструктуры.

Во время занятий нам предстоит детально изучить контейнеры, поработать с большим набором облачных служб Azure для реализации решений на базе контейнеров, а также освоить различные методики расширения функций контейнеров без изменения существующего кода.