Облачные вычисления *

Развитие технологий в области софта и железа, появление новых протоколов связи привели к расширению интернета вещей (IoT). Количество устройств растёт день ото дня, и они генерируют огромный объём данных. Поэтому возникает потребность в удобной архитектуре системы, способной обрабатывать, хранить и передавать эти данные.

Сейчас для этих целей используют облачные сервисы. Однако становящаяся всё более популярной парадигма туманных вычислений (Fog) способна дополнить облачные решения, масштабировав и оптимизировав инфраструктуру IoT.

Перевод статьи подготовлен специально для студентов курса «Облачные сервисы».

Интересно развиваться в данном направлении? Смотрите запись профессионального мастер-класса «AWS EC2 сервис», который провёл Егор Зуев — TeamLead в компании InBit и автор образовательной программы в OTUS.

Google Cloud Platform (GCP) предлагает множество сервисов, и в частности вычислительный стек, который содержит Google Compute Engine (GCE), Google Kubernetes Engine (ранее — Container Engine) (GKE), Google App Engine (GAE) и Google Cloud Functions (GCF). Все эти сервисы имеют крутые названия, но могут быть не совсем очевидными в отношении их функций и того, что делает их уникальными по отношению друг к другу. Эта статья предназначена для тех, кто только знакомится с облачными концепциями, в частности с облачными сервисами и GCP.

В динамичном мире микросервисов измениться может все что угодно — любой компонент можно переписать на другом языке, используя иные фреймворки и архитектуру. Неизменными должны оставаться лишь контракты, для того, чтобы с микросервисом можно было взаимодействовать извне на некой постоянной основе, вне зависимости от внутренних метаморфоз. И сегодня мы расскажем о нашей проблеме выбора формата описания контрактов и поделимся найденными артефактами.

Всем привет!

3 октября в 14.00 приглашаем на DataLine Insight Brut Day.

Про что расскажем

• последние новости и планы компании на ближайший год, в том числе в связи со сделкой с “Ростелеком”;
• новые сервисы и дата-центры;
• результаты расследования по пожару в дата-центре OST этим летом.

Для кого

Будем рады видеть ИТ-директоров, системных администраторов, инженеров и специалистов ИБ.

С нас живое общение, ответы на все интересующие вопросы от наших ведущих экспертов и вкусный брют ;)

Участие бесплатное, но вход только по приглашениям. Для этого нужно зарегистрироваться и получить подтверждение регистрации.

→ Регистрация

В последние годы новостные ленты наводнили сообщения о появляющихся буквально из ниоткуда распределенных вычислительных сетях нового типа, решающих (точнее, пытающихся решить) самые разнообразные задачи — сделать город умным, спасти мир от нарушителей авторских прав или наоборот, тайно передать информацию или ресурсы, сбежать из-под контроля государства в той или иной сфере. Вне зависимости от сферы, все они обладают рядом общих черт, обусловленных тем, что топливом для их роста явились алгоритмы и методики, вышедшие в широкие массы во время недавнего бума криптовалют и связанных с ними технологий. Наверное, каждая третья статья на профильных ресурсах в то время в названии имела слово “блокчейн” — обсуждение новых программных решений и экономических моделей некоторое время стало доминирующим трендом, на фоне которого иные сферы применения систем распределенных вычислений были отодвинуты на второй план.

В то же время визионеры и профессионалы увидели основную суть явления: массовые распределенные вычисления, связанные с построением сетей из большого числа разрозненных и разнородных участников, вышли на новый уровень развития. Достаточно выбросить из головы хайповые темы и взглянуть на предмет с другой стороны: все эти сети, собранные из огромных пулов, в которых состоят тысячи обособленных разнородных участников, появились не сами по себе. Энтузиасты крипто-движения смогли разрешить в новом ключе сложные проблемы синхронизации данных и распределения ресурсов и задач, что и позволило собрать воедино подобную массу оборудования и создать новую экосистему, предназначенную для решения одной узконаправленной задачи.

8 лет назад облака стремительно изменили мир — реклама стала наперебой обещать подключить любой бизнес к удалённым серверам, хранилищам в дата-центрах и распределённым вычислительным ресурсам. Сегодня крупные компании могут не просто мигрировать на виртуальные сервера, но и запускать в своём периметре безопасности частные облака.

Ivideon развёртывает и настраивает системы видеонаблюдения где угодно, фактически предоставляя клиентам «частный облачный сервис под ключ». И представьте себе: некоторые решения, которые клиенты воспринимают как наших конкурентов, на самом деле представляют собой Ivideon под чужим брендом… Сегодня вы узнаете, как это всё работает и чем выгодно бизнесу.

Наша IaaS-платформа Cloud-152 одновременно сертифицирована по требованиям PCI DSS и имеет аттестат соответствия 152-ФЗ по УЗ-2 (без актуальных угроз 1-го и 2-го типа). Эта же платформа входит еще и в область действия нашей системы управления информационной безопасностью (СУИБ), которую мы сертифицировали по ISO/IEC 27001:2013. Про это и про STAR Cloud Security Alliance (CSA) я обязательно как-нибудь тоже расскажу, но сегодня остановлюсь на плюсах синергии PCI DSS и 152-ФЗ для наших клиентов.

На прошлой неделе стартовали продажи нового серверного процессора AMD EPYC 7002 на базе микроархитектуры Zen 2. О планах использовать его в своих WJL уже объявили Google и Twitter.

За июнь-июль к нам обратилось почти два десятка компаний, интересовавшихся возможностями виртуальных GPU. «Графикой» от Cloud4Y уже пользуется одна из крупных «дочек» Сбербанка, но в целом услуга не слишком популярная. Так что подобная активность нас весьма порадовала. Видя рост интереса к технологии, мы решили чуть подробнее рассказать про vGPU.

В начале июля группа инженеров из Red Hat и Бостонского университета выпустила whitepaper, в котором предложила сменить монолитное ядро Linux на архитектуру unikernels. Мы решили разобраться в материале и обсудить реакцию ИТ-комьюнити на это предложение.

Kubernetes (K8s) — это мощная платформа, которая за последние пять лет кардинально изменила методы работы с программным обеспечением. Она пользуется активным спросом, и поэтому некоторые компании стали предлагать Kubernetes-as-a-service. Cloud4Y предлагает познакомиться с наиболее интересными дистрибутивами K8s.

У платформы есть сильное open-source комьюнити, которое привносит в продукт множество инноваций. Отсюда происходят и некоторые из текущих недостатков: трудность в установке, сложность в настройке. Во многом Kubernetes похож на ядро Linux: он предоставляет среду для запуска программного обеспечения, но не предоставляет никаких инструментов для управления.

Пиво — один из старейших ферментированных напитков, известных человеку. Его воспевали ещё в третьем тысячелетии до н. э. в шумерском эпосе о Гильгамеше. У шумеров даже была поговорка: «Не знать пива – не знать радости». Современное пиво отличается от напитка тех времён. Более того, появилось большое количество крафтовых пивоварен, в которых пивные энтузиасты предлагают новые, удивительно вкусные и ароматные сорта.

Однако пивовары, стремясь усовершенствовать свой продукт и предложить рынку нечто новое, не останавливаются на достигнутом, используя всё новые технологические решения. Добрались они и до искусственного интеллекта. Сегодня мы расскажем про наиболее интересные проекты, связанные с внедрением AI в процесс пивоварения и пивопотребления.

Часть 1. Про CPU
Часть 2. Про Memory

Сегодня разберем метрики дисковой подсистемы в vSphere. Проблема со стораджем – самая частая причина медленной работы виртуальной машины. Если в случаях с CPU и RAM траблшутинг заканчивается на уровне гипервизора, то при проблемах с диском, возможно, придется разбираться с сетью передачи данных и СХД.

Тему буду разбирать на примере блочного доступа к СХД, хотя при файловом доступе счетчики примерно те же.

Сегодня многие компании в своей работе активно используют не только компьютеры, но и мобильные устройства и ноутбуки. В связи с этим появляется проблема управления этими устройствами, используя унифицированное решение. Sophos Mobile успешно справляется с этой задачей и открывает большие возможности для администратора:

1. Управление мобильными устройствами, принадлежащими компании;
2. BYOD, контейнеры доступа к корпоративным данным.

Более подробно о решаемых задачах я расскажу под катом…

Говорим о самом быстром суперкомпьютере в США и других участниках «эксафлопсной гонки».


Фото — OLCF at ORNL — СС BY / Мощнейший суперкомпьютер на сегодняшний день — Summit

Проект Aurora

Разработкой эксафлопсного компьютера Aurora занимается Министерство энергетики США (DOE). Его строят в Аргоннской национальной лаборатории недалеко от Чикаго. Aurora будет в пять раз мощнее текущего мирового лидера — вычислительной системы Summit от IBM, установленной в Национальной лаборатории Оук-Ридж, которая также принадлежит Министерству энергетики США.

Сегодня мы хотим рассказать о такой полезной функции Яндекс.Облака как прерываемые виртуальные машины. Это специальная опция, которую вы можете выбрать при создании виртуальной машины, чтобы использовать вычислительные ресурсы по сниженной цене. Что же такого особенного в прерываемых виртуальных машинах, почему они стоят дешевле обычных и в каких случаях разумно их применять?

Заголовок этого поста — прямая отсылка к диаграмме «Времена задержек, которые должен знать каждый программист». В настоящее время есть несколько версий этой диаграммы, и трудно установить оригинального автора. Некоторые говорят, что это Джефф Дин.

Если вы работаете над проектом, который должен достичь большого масштаба, необходимо сбалансировать несколько проблем. Какие предположения мы делаем и как их подтвердить? Как быстро выйти на рынок? Будет ли наш дизайн поддерживать ожидаемый масштаб?

Один из вопросов масштабирования — стоимость инфраструктуры. Облачные провайдеры позволяют создавать тысячи процессоров и размещать терабайты данных одним щелчком мыши. Но это стоит дорого, и то, что незначительно для нескольких тысяч пользователей, может стать огромной дырой в бюджете, когда вы выйдете на миллионы пользователей.

Как читать эту статью: прошу прощения за то, что текст получился таким длинным и хаотичным. Чтобы сэкономить ваше время, я каждую главу начинаю со вступления «Чему я научился», в котором одним-двумя предложениями излагаю суть главы.

«Просто покажи решение!» Если вы хотите всего лишь увидеть, к чему я пришёл, то переходите к главе «Становлюсь изобретательнее», но я считаю, что интереснее и полезнее почитать про неудачи.

Недавно мне поручили настроить процесс обработки большого объёма исходных последовательностей ДНК (технически это SNP-чип). Нужно было быстро получать данные о заданном генетическом местоположении (которое называется SNP) для последующего моделирования и прочих задач. С помощью R и AWK мне удалось очистить и организовать данные естественным образом, сильно ускорив обработку запросов. Далось мне это нелегко и потребовало многочисленных итераций. Эта статья поможет вам избежать некоторых моих ошибок и продемонстрирует, что же у меня в конце концов получилось.

С февральского Love Kubernetes прошла, нам кажется, вечность. Немного скрасило разлуку только то, что мы успели войти в Cloud Native Computing Foundation, сертифицировать наш дистрибутив Kubernetes по Certified Kubernetes Conformance Program, а ещё запустить в сервисе Mail.ru Cloud Containers свою реализацию Kubernetes Cluster Autoscaler.

Пришло время для третьего @Kubernetes Meetup! Вкратце:

• Газпромбанк расскажет, как они используют Kubernetes в своём R&D для управления OpenStack;
• Mail.ru Cloud Solutions — как масштабировать приложения в K8S с помощью скейлеров и как готовили свою реализацию Kubernetes Cluster Autoscaler;
• а агентство Wunderman Thompson — как Kubernetes помогает им оптимизировать подход к разработке и почему в DevOps больше Dev, чем Ops.

Встреча пройдет 21 июня (пятница) в 18:30 в московском офисе Mail.ru Group (Ленинградский проспект, д. 39, стр. 79). Регистрация обязательна и закрывается 20 июня в 11:59 утра (или раньше, если закончатся места).