Облачные вычисления *

На прошлом внутреннем митапе Pyrus мы говорили о современных распределенных хранилищах, а Максим Нальский, CEO и основатель Pyrus, поделился первым впечатлением от FoundationDB. В этой статье рассказываем о технических нюансах, с которыми сталкиваешься при выборе технологии для масштабирования хранения структурированных данных.

Когда сервис недоступен пользователям какое-то время, это дико неприятно, но всё же не смертельно. А вот потерять данные клиента — абсолютно недопустимо. Поэтому любую технологию для хранения данных мы скрупулезно оцениваем по двум-трем десяткам параметров.

В нашем блоге мы уже рассказывали о двух «свежих» фондах Linux Foundation — GraphQL и Ceph. В прошлом месяце консорциум учредил еще один проект — Edge, задачей которого станет развитие облачных и периферийных вычислений. Рассказываем, кто уже стал его членом.

Привет, Хаброжители! Эта книга Ноя Гифта предназначена для всех, кого интересуют ИИ, машинное обучение, облачные вычисления, а также любое сочетание данных тем. Как программисты, так и просто неравнодушные технари найдут тут для себя полезную информацию. Примеры кода даны на Python. Здесь рассматривается множество столь продвинутых тем, как использование облачных платформ (например, AWS, GCP и Azure), а также приемы машинного обучения и реализация ИИ. Джедаи, свободно ориентирующиеся в Python, облачных вычислениях и ML, также найдут для себя много полезных идей, которые смогут сразу применить в своей текущей работе.

Предлагаем ознакомиться с отрывком из книги «Создание интеллектуального бота Slack в AWS»

Всем привет! Меня зовут Виталий Давыдов, я основатель компании Poteha Labs.

В конце прошлого года Яндекс запустил новый продукт для разработчиков — Яндекс.Облако, который предоставляет вычислительные мощности и сопутствующие сервисы для обработки и хранения данных. В этой статье я расскажу о том, как мы оценивали перенос одного из наших проектов на Облако, о его особенностях и тарифах.

На примере gitlab бота я покажу, каким образом можно автоматизировать процесс релиза для serverless функций через автоматическое их обновление из git репозитория. Переходим от игр к практической разработке на serverless.

Давеча на глаза мне тут попалось аж две статьи из одного корпоративного блога, касающиеся облаков — одна про Kubernetes, а во второй была попытка замера производительности по методике, которая мне показалась сомнительной (спойлер — и не зря).

Про K8s мне тоже есть что сказать, но поговорим про производительность.

Недоверие к результатам было вызвано многими факторами, но основными из них для меня стали следующие: параметров запуска тестов не было, количество итераций не озвучено, как выбирались машины не озвучено, подробной конфигурации тоже не было. Сомнительно, в общем.
В целом, я пользуюсь в основном Google Cloud и AWS (в сумме уже с десяток лет опыта по ним набежало) и с отечественными облачными провайдерам особо не работаю, но, по стечению обстоятельств, у меня есть активные аккаунты в Selectel, MCS, Я.Облаке и, после этого теста, еще и в Azure.

К счастью, все эти платформы публичные и что бы я не намерил, каждый при желании может пойти, повторить и проверить.

Итогом всего этого стала мысль — почему бы не потратить пару сотен рублей, все выходные и действительно вдумчиво не померить все шесть платформ и выяснить, какая из них дает лучшую производительность относительно стоимости и в абсолютных цифрах при одинаковых конфигурациях, а заодно и сравнить глобальных поставщиков с российскими.
А так же, как выяснилось, прояснить некоторые «особенности» в выделении ресурсов и напомнить себе и окружающим, что далеко не всегда и не на всех платформах за одни и те же деньги можно получить предсказуемую производительность.

Результаты получились не сказать чтобы феноменальными, но на мой взгляд крайне любопытными.

Интересующихся прошу под кат.

Последние несколько лет я, по непонятной причине, стараюсь подтолкнуть людей к расширению профессионального кругозора. Я убежден, что в современном мире невозможно занять достойное место, занимаясь узкоспециализированной деятельностью – только узкоспециализированной деятельностью (за редкими исключениями).

Есть, например, ребята, которых называют «кодеры» — они ничего не хотят знать о предметной области, заботятся только о качестве кода, о производительности, о правильной структуре данных.

Оно, конечно, неплохо, но такие ребята постоянно находятся в зависимости от окружения. Им нужен переводчик – методист, который транслирует задачу заказчика в термины, понятные кодеру.

Соответственно, у кодера есть ограничение по местам работы – подходит чистая ИТ-компания или предприятие с большим и разношерстным ИТ-отделом.

Универсал имеет немного больше возможностей – он умеет понимать язык пользователей, почти все диалекты. Но универсал, как правило, не умеет говорить на языке бизнеса (этот язык отличается от диалектов пользователей). На схожую тему уже есть статья, повторяться не буду.

Но сегодня – не об этом, сегодня – о технологиях.

В прошлый раз мы рассказывали о наиболее популярных и обсуждаемых инструментах и сервисах для работы с логами и базами данных. Тема сегодняшнего материала — управление контейнерами и балансировка нагрузки в облаке.

Сегодня рассмотрим нашу пятую итерацию по созданию продукта для машинного обучения. Чтобы подойти к этой теме, кратко напомним о предыдущих продуктах и их состоянии на текущий момент. Рассмотрим только полностью интегрированные решения, которые позволяют пройти путь от расчета модели до использования в реальных кейсах в одном полноценном продукте.

В предыдущем посте мы рассказали, как облачные сервисы превратились в негласный стандарт предоставления ИТ-услуг. Нетрудно догадаться, что компании, которые желают по-прежнему зарабатывать на пользовательских приложениях, должны адаптировать и создавать новые продукты с учетом Cloud-Native подхода. Впрочем, для разработчиков это однозначно позитивная новость, поскольку использование облачных технологий открывает для них огромные новые возможности. Главное уметь ими правильно распорядиться.

VSaaS – Video Surveillance as a Service, то есть «видеонаблюдение как услуга» – относится к облачному видеонаблюдению. Сервис обычно включает технологии и решения, которые позволяют хранить, управлять, записывать и воспроизводить видеоматериалы с камер наблюдения удаленно – из облака. Это значит, что не нужно покупать оборудование и специальное ПО для хранения и управления записями – достаточно камер и подключения к Интернету. Все остальное лежит на VSaaS-провайдере.

Настоящая облачная система видеонаблюдения – VSaaS – с ее сопутствующими преимуществами очень сильно отличается от традиционных решений на базе видеорегистраторов (DVR), сетевых видеорегистраторов (NVR) или программного обеспечения VMS (Video Management System для построения систем видеонаблюдения на основе IP-камер), подключенных к Интернету для удаленного доступа или удаленного хранения.

Чтобы принимать правильные технологические решения, влияющие на бизнес, нужно четко понимать разницу между VSaaS и просто камерами с сетевым доступом. Этот материал поможет вам определить, какой тип системы наилучшим образом соответствует потребностям вашей компании или ваших клиентов.

Это вторая часть введения в Kubernetes для пользователей VMware. Прежде чем перейти к практической части, ознакомьтесь с предыдущей статьей по ссылке.

В середине января на заседании рабочей группы по архитектуре государственных систем и режиму оборота данных одобрили черновой проект концепции Национальной системы управления данными (НСУД). Всего было подготовлено несколько таких документов разными ведомствами, однако наиболее полное одобрение получила версия Аналитического центра при Правительстве РФ. О своем желании принять активное участие в пилотных проектах по созданию такой системы уже заявили Росреестр, Пенсионный Фонд, Казначейство, некоторые другие ведомства и целые регионы страны.

Хронология принятия НСУД

Концепция НСУД должна принять свой финальный вид уже в феврале 2019 г. после консультаций и обсуждений с различными госорганами и представителями бизнеса.
Следом ее должно будет утвердить Правительство — не позднее 31 марта 2019 г.,
ну а законопроект о НСУД собираются разработать и принять во втором квартале этого года.
Не откладывая в долгий ящик, в июле-сентябре определят все требования к процессу управления данными и назначат оператора.

Но не все так гладко, как это выглядит при беглом взгляде. Для ускоренного ввода НСУД в действие — одного из важнейших компонентов федерального проекта по государственному управлению, решили в концепции не прописывать многие детали, а обсуждать все возникающие вопросы уже по ходу реализации системы. Кроме того, структуру управления НСУД авторы предлагают сделать децентрализованной, не передавая все бразды правления ни в одно ведомство или орган власти. Но какими полномочиями и в каком объеме будет в итоге наделен национальный оператор НСУД — пока неясно.

Архитектуры центров обработки данных общего назначения (такие ЦОДы сегодня все еще широко применяются) хорошо отрабатывали свои задачи в прошлом, но с недавних пор большинство из них достигли своих границ масштабируемости, производительности и эффективности. В архитектуре таких ЦОД обычно используется принцип совокупного выделения ресурсов — процессоров, жестких дисков и ширины сетевых каналов.

При этом изменение объема используемых ресурсов (увеличение или уменьшение) происходит в таких ЦОДах дискретно, с заранее определенными коэффициентами. Например, при коэффициенте 2 мы можем получить такой ряд конфигураций:

• 2CPU, 8 GB RAM, 40GB storage;
• 4CPU, 16GB RAM, 80GB storage;
• 8CPU, 32GB RAM, 160GB storage;
• …

Однако, для множества задач эти конфигурации оказывается экономически неэффективными, часто клиентам достаточно некоей промежуточной конфигурации, например, — 6CPU, 16GB RAM, 100GB storage. Таким образом, мы приходим к пониманию, что вышеуказанный универсальный подход к выделению ресурсов ЦОД оказывается неэффективным, в особенности при интенсивной работе с большими данными (например, быстрые данные, аналитика, искусственный интеллект, машинное обучение). Пользователи в таких случаях хотят иметь более гибкие возможности управления используемых ресурсов, им необходима возможность независимого друг от друга масштабирования используемых процессоров, памяти и хранилищ данных, сетевых каналов. Конечной целью этой идеи является создание гибкой компонентной инфраструктуры.



Рис. 1. Дата-центрированная архитектура ЦОД.

Последний ARM-чип компании Qualcomm для дата-центров — Centriq, вышел чуть более года назад и собрал на старте множество положительных отзывов. Но в середине декабря ИТ-гигант объявил, что закрывает направление, занимающееся производством процессоров для ЦОД.

Рассказываем, с чем связано такое решение и как оно отразится на отрасли в целом.

Новый год начался с новинок от Veeam. На прошлой неделе сервис-провайдерам стал доступен Update 4 для Veeam Cloud Connect. Напомню, Veeam Cloud Connect помогает настраивать репликацию виртуальных машин, запускать реплики в облаке сервис-провайдера, организовывать удаленный репозиторий для бэкапов на площадке провайдера. Я уже писал про этот инструмент тут. Сегодня покажу, что в нем появилось нового.

Вот основные изменения:

• привязка Cloud Gateway к конкретным клиентам;
• репликация в организацию VMware vCloud Director. Раньше можно было делать реплики только на уровне vCenter. У клиентов не было возможности подключиться в реплике виртуальной машины через консоль, не проводя при этом failover.
• бэкап на ленты с привязкой клиента к конкретной ленте.

Подробности под катом.

Это вторая часть из моей серии постов “Kubernetes in the Enterprise”. Как я упоминал в моем последнем посте, очень важно при переходе к “Design and Implementation Guides” всем быть на одном уровне понимания Kubernetes (K8s).

Я не хочу здесь применять традиционный подход для объяснения архитектуры и технологий Kubernetes, а объясню все через сравнение с vSphere платформой, которая вам, как пользователям VMware, хорошо знакома. Это позволит вам преодолеть кажущуюся запутанность и тяжесть понимания Kubernetes. Я использовал этот подход внутри VMware для представления Kubernetes разным аудиториям слушателей, и он доказал, что отлично работает и помогает людям быстрее освоиться с ключевыми концепциями.

Важное замечание, прежде чем мы начнем. Я не использую это сравнение ради доказательства каких-либо сходств или различий между vSphere и Kubernetes. И то, и другое, в сущности, это распределенные системы, и, следовательно, должны иметь сходство с любой другой подобной системой. Поэтому в итоге я пытаюсь представить такую замечательную технологию как Kubernetes широкому сообществу её пользователей.

В этой статье будет рассмотрена процедура расширения сети предприятия в облако провайдера посредством компонента VMware NSX® Edge™ Gateway Standalone. А также детально разобраны виды миграции виртуальных машин.

Прежде чем приступать к миграциям и настройке сети, необходимо убедиться в том, что все компоненты инфраструктуры развернуты, настроены и запущены. О том, как развернуть и настроить инфраструктуру VMware vCloud Director® Extender, можно посмотреть в предыдущей статье.

Все описанные далее действия требуется выполнять на инфраструктуре клиента.

В рамках проходящей в данный момент выставки CES 2019 подразделение IBM Research провело анонс первой в мире квантовой системы, пригодной для коммерческого применения.

   В сети можно найти огромное количество разнообразных статей о методах использования алгоритмов математической статистики, о нейронных сетях и в целом о пользе машинного обучения. Данные направления способствуют существенному улучшению жизни человека и светлому будущему роботов. Например, заводы нового поколения, способные работать полностью или частично без вмешательства человека или машины с автопилотом.

  Разработчики объединяют комбинации этих подходов и методов машинного обучения в различные направления. Эти направления впоследствии получают названия, оригинальные и не очень, например: IOT (Internet Of Things), WOT (Web Of Things), Индустрия 4.0 (Industry 4.0), Artificial Intelligence (AI) и другие. Данные концепции объединяет то, что их описание является верхнеуровневым, то есть не рассматриваются ни конкретные инструменты и технологии, ни уже готовые к внедрению системы, а основной целью является визуализация желаемого результата. Но технологии уже существуют, хотя часто не имеют единой платформы.