Облачные вычисления *

Эта статья задумывалась для руководителей компаний, которые внедряют у себя платформу электронной коммерции и выбирают модель облачного хостинга между FaaS, PaaS, SaaS или IaaS. Но, на самом деле, эта статья универсальна — подойдет и клиентам дата-центров, и клиентам разработчиков облачных приложений, и даже людям, далеким от ИТ. Читайте о различиях, преимуществах и недостатках FaaS, PaaS, SaaS или IaaS для облачного хостинга любых "тяжелых" приложений с требованиями кастомизации под бизнес заказчика.

Компании Fujitsu и Microsoft сегодня объявили о запуске демонстрационной зоны для ознакомления заказчиков и партнеров с интегрированной системой PRIMEFLEX для Microsoft Azure HCI в Технологическом центре Microsoft в Москве. Демоплощадка предназначена для моделирования и тестирования различных сценариев развертывания и использования решения Fujitsu PRIMEFLEX для Microsoft Azure Stack HCI, что позволит организациям существенно упростить процесс реального внедрения Azure Stack HCI.

Про colab знают, наверное, все. Этот инструмент позволяет независимым исследователям использовать облачную инфраструктуру с GPU и TPU бесплатно или почти бесплатно.

Как всегда, проблемы возникают на больших данных. Если ваш датасэт лежит в google drive (он же Диск), то вы можете обращаться к нему напрямую из colab. Однако, если файл велик, например, 70+ GiB, то процесс обучения будет существенно медленнее, чем если бы этот же файл лежал в локальном хранилище, которое выделяется при создании инстанса.

Выход - скопировать файл с Диска в локальное хранилище (обучение станет быстрее в несколько раз!). Но дело в том, что colab и вся инфраструктура очень умная, файлы с Диска кэшируются каким то неуправляемым вами алгоритмом. И если у вашего инстанса, допустим, доступно ~120 GiB, то 70 GiB с Диска вы не скопируете, у вас закончится свободное место как раз из-за системы кэширования. То есть, команда cp не отработает корректно. И rsync то же. И tar. Кэширование работает на уровне драйвера. По сути файл копируется в локальное хранилище дважды. Шах и мат!

Так что вот вам небольшой костылёк:

Помогая нашим клиентам проводить аварийное восстановление или миграцию с помощью продукта vCAV, мы даже не предполагали насколько сложным иногда может оказаться этот процесс. Особенно много проблем возникает у новичков, у которых раньше не было опыта с vCAV. Но есть и хорошая новость — всего этого можно легко избежать, если заранее продумать детали и составить грамотный план переезда. В этом посте знакомим с особенностями инструмента VMware Cloud Availability и даем чек-лист по настройке всего процесса. 

Используя технологии частного облака, финансовые организации могут быстрее реагировать на изменения требований пользователей, рынка и регуляторов. Частное облако — это неотъемлемый компонент гибридной мультиоблачной стратегию для организаций, оказывающих финансовые услуги. Оно дает финансовым организациям конкурентные преимущества благодаря гибкой реализации и обеспечивает больше безопасности и меньше рисков для бизнеса по сравнению с публичным облаком.

С годами OpenStack стал фактическим стандартом создания частных облаков. Это модульная система из множества проектов, с помощью которой финансовые организации могут создавать масштабируемое частное облако или гибридную архитектуру на основе открытых стандартов. OpenStack позволяет переносить приложения между частными и публичными облаками, поэтому финансовые организации могут в любой момент сменить место размещения своих приложений и рабочих процессов без привязки к вендору. Кроме того, OpenStack можно интегрировать с основными бизнес-системами, такими как Active Directory и LDAP.

С развитием открытого банкинга в разработке финансовых приложений и цифровых сервисов для клиентов часто участвуют различные организации, которые сотрудничают друг с другом для достижения результатов. OpenStack позволяет финансовым организациям легко переносить рабочие нагрузки из одного облака в другое, включая частные и публичные облака. Кроме того, он ускоряет вывод на рынок новых финансовых продуктов, поскольку предоставляет портал самообслуживания для доступа к нужным ресурсам по требованию и платформу на базе API для разработки приложений, поддерживающих облако.

Виртуализация сетевых функций (NFV) и облачные сетевые функции (CNF) продолжают набирать популярность в отрасли телекоммуникаций. Виртуализация помогает сократить капитальные и операционные затраты, отделяя сетевые функции от инфраструктуры и обеспечивая гибкость и масштабируемость. Несмотря на широкое распространение этой технологии, организации по-прежнему сталкиваются с трудностями при ее реализации в повседневной работе.

Одна из главных сложностей — наладить процесс управления сетевыми функциями и их оркестровки. Телеком-компании должны создавать виртуализированные сетевые функции, при этом поддерживать высокое качество обслуживания и внедрять постоянно появляющиеся инновации. Технология 5G, скорее всего, продержится еще 5–8 лет, прежде чем уступить место 6G. Переход на сети нового поколения обходится дорого, и если средний доход на абонента не будет покрывать капитальные затраты, телеком-компании не смогут сохранить свои прибыли.

Безопасность облачных вычислений изначально вызывала опасения: можно ли доверять облаку настолько, чтобы разместить в нем корпоративную инфраструктуру? Особенно остро этот вопрос встает в гибридной или мультиоблачной архитектуре, где используется одно или несколько публичных облаков наряду с частным облаком или локальной средой.

Организации все чаще переносят рабочие нагрузки в облако для повышения эффективности, при этом облачные среды должны соответствовать строгим требованиям безопасности и комплаенса. Чаще всего организации начинают задумываться об этом слишком поздно, уже при реализации и развертывании OpenStack. Здесь их ждут неприятные сюрпризы, ведь оказывается, что развертывание не соответствует необходимым стандартам безопасности. Хотя OpenStack известен как очень надежное и защищенное решение, которое хорошо подходит для отраслей со строгим регулированием, таких как здравоохранение, правительство, банковские услуги и телекоммуникации, следует уделить особое внимание вопросу безопасности еще на этапе проектирования.

Ранее наши коллеги уже освещали вопрос необходимости Enterprise Service Mesh в компании. В этой статье мы хотим подробнее рассказать об интеллектуальных сервисах, которые позволяют облегчить жизнь администраторам, повысить надёжность систем и сделать их быстрее.

В настоящий момент наш продукт включает в себя следующие сервисы:

Predictive Colocator – размещает связанные между собой приложения на одинаковых нодах, уменьшает задержку при передаче данных;

Discovery R&L – находит начальные лимиты (limit) и реквесты (request) для любых приложений с целью их гарантированного старта при применяемой конфигурации;

Anomaly Detection – выявляет аномалии в работе элементов облачной инфраструктуры;

Predictive Autoscaler – определяет будущую нагрузку на приложения, заранее поднимает или опускает необходимое количество подов.

В рамках этой статьи кратко рассмотрим некоторые аспекты работы двух сервисов: Predictive Autoscaler и Anomaly Detection.

Рынок облачных вычислений быстро растет. Согласно отчету Forrester «Прогнозы на 2020 год: облачные вычисления» (на англ. яз.) за 2019 год мировой рынок сервисов для публичных облаков достигнет 299,4 млрд долларов США в 2020 году и продолжит расти на 29,2% в год в 2019–2025 гг^[1]. Облачная инфраструктура привлекает компании своими преимуществами по сравнению с традиционными ЦОД. Это и экономия расходов, и масштабируемость и дополнительная гибкость для DevOps.

Хотя публичные облака по-прежнему занимают большую часть рынка облачных сервисов, доля частных облаков продолжает расти. По данным независимого отчета Statista, в 2020 году предприятия потратили на частные облака 72,9 млрд долларов, и эти расходы будут только увеличиваться — в среднем, на 28% в год в 2021–2027 гг^[2]. В 2020 году самыми популярными корпоративными решениями для частных облаков стали VMware vSphere, Microsoft Azure Stack, OpenStack, VMware vCloud Director и AWS Outposts^[3].

Облачный рынок несколько лет подряд демонстрирует высокие темпы роста. Организации мигрируют в виртуальную среду все больше пользовательских и корпоративных сервисов. В связи с этим важно в подробностях понимать, как облачные провайдеры обеспечивают информационную безопасность инфраструктуры. Расскажем, как это делаем мы в SberCloud.

"Читатель проживает тысячу жизней, прежде чем умрет.. Человек, который никогда не читает, проживает только одну "

- Джордж Р.Р. Мартин.

Скорость вывода продукта на рынок или добавление новых функций часто определяют коммерческую успешность компании. Поэтому исследовательские работы, этапы разработки, анализа всеми правдами и неправдами пытаются ускорить. Для этого требуется увеличить объём вычислительных ресурсов. Облачные технологии позволяют быстро сформировать пул мощностей, необходимых для выполнения задачи в максимально короткий срок. А благодаря GPU-вычислениям стало удобно создавать под масштабные проекты настоящие облачные суперкомпьютеры. О перспективах этого направления и расскажем.

2021 год для Amazon Web Services является юбилейным по многим поводам: 15 лет с запуска первых сервисов, а сам re:Invent проходит уже 10-й раз! Второй день обучающей конференции подошел к концу, и в этой статье мы собрали самое важное за прошедшие дни.

По традиции лучшие solution архитекторы Amazon Web Services будут обсуждать все значимые анонсы re:Invent на русском языке в режиме лайф twitch на своем youtube канале. Регистрируйтесь, подключайтесь и задавайте ваши вопросы!

Подробности и регистрация.

Чтобы представить будущее, вам необходимо понять, какие возможности перед вами и вашей организацией открывает облако сегодня. В рамках этого вводного курса «День виртуального обучения Microsoft Azure: основы» рассказывается о концепциях, моделях и сервисах облачных вычислений. Рассматриваются такие темы, как публичное, частное и гибридное облако, а также инфраструктура как услуга (IaaS), платформа как услуга (PaaS) и программное обеспечение как услуга (SaaS).

Платформа DS Works позволяет проводить чемпионаты по обработке и анализу данных. По итогам соревнований организации получают готовое к внедрению решение, а участники — денежные призы и приглашения на работу.

Это интервью с Сергеем Кузнецовым, product owner’ом платформы. Он рассказывает о ходе развития проекта и ближайших соревнованиях.

12 октября мы провели локальную российскую конференцию Day of the DEVs. Всего в рамках конференции было задействовано 5 направлений: Hybrid/Multi cloud, Security, OSS, Data&AI для приложений, Продуктивность разработчиков.

В этой статье мы собрали весь полезный контент с этих треков, в том числе полные записи выступлений, и разделили все по тем же категориям. Заглядывайте под кат!