Облачные вычисления *

Скорость вывода продукта на рынок или добавление новых функций часто определяют коммерческую успешность компании. Поэтому исследовательские работы, этапы разработки, анализа всеми правдами и неправдами пытаются ускорить. Для этого требуется увеличить объём вычислительных ресурсов. Облачные технологии позволяют быстро сформировать пул мощностей, необходимых для выполнения задачи в максимально короткий срок. А благодаря GPU-вычислениям стало удобно создавать под масштабные проекты настоящие облачные суперкомпьютеры. О перспективах этого направления и расскажем.

2021 год для Amazon Web Services является юбилейным по многим поводам: 15 лет с запуска первых сервисов, а сам re:Invent проходит уже 10-й раз! Второй день обучающей конференции подошел к концу, и в этой статье мы собрали самое важное за прошедшие дни.

По традиции лучшие solution архитекторы Amazon Web Services будут обсуждать все значимые анонсы re:Invent на русском языке в режиме лайф twitch на своем youtube канале. Регистрируйтесь, подключайтесь и задавайте ваши вопросы!

Подробности и регистрация.

Чтобы представить будущее, вам необходимо понять, какие возможности перед вами и вашей организацией открывает облако сегодня. В рамках этого вводного курса «День виртуального обучения Microsoft Azure: основы» рассказывается о концепциях, моделях и сервисах облачных вычислений. Рассматриваются такие темы, как публичное, частное и гибридное облако, а также инфраструктура как услуга (IaaS), платформа как услуга (PaaS) и программное обеспечение как услуга (SaaS).

Платформа DS Works позволяет проводить чемпионаты по обработке и анализу данных. По итогам соревнований организации получают готовое к внедрению решение, а участники — денежные призы и приглашения на работу.

Это интервью с Сергеем Кузнецовым, product owner’ом платформы. Он рассказывает о ходе развития проекта и ближайших соревнованиях.

12 октября мы провели локальную российскую конференцию Day of the DEVs. Всего в рамках конференции было задействовано 5 направлений: Hybrid/Multi cloud, Security, OSS, Data&AI для приложений, Продуктивность разработчиков.

В этой статье мы собрали весь полезный контент с этих треков, в том числе полные записи выступлений, и разделили все по тем же категориям. Заглядывайте под кат!

Каждый год Gartner находит технологические тенденции, которые повлияют на бизнес в ближайшие несколько лет. На 2022 год этот список включает 12 стратегических тенденций. Мы перевели и адаптировали пресс-релиз и статью Gartner с разбором наиболее важных технологий и собрали мнения экспертов о том, какие у этих технологий перспективы в России.

Привет, Хабр! Меня зовут Кирилл Шеховцов, и я технический лидер в SberCloud. Сегодня расскажу, как быстро интегрировать пайплайн Continuous Integration/Continuous Delivery (CI/CD) и продуктовый подход к проектированию приложений в облаке SberCloud.Advanced. Эта обзорная статья будет полезна начинающим ИТ-специалистам и предпринимателям, которые только осваивают работу в облаке. Я составил материал в виде пошаговой инструкции, которой могут воспользоваться как крупные, так и небольшие команды разработчиков.

Microsoft HYBRID Cloud Forum — ежегодная онлайн-конференция, посвященная теме гибридных технологий и интеграции облачных сервисов в локальную инфраструктуру компании. В этом году она пройдет 9 декабря! Регистрируйтесь и присоединяйтесь!

Подробности и регистрация.

Привет жителям Хабра! Меня зовут Андрей, я разработчик облачного сервиса по планированию маршрутов Муравьиная логистика. В этой статье я хочу поделиться опытом использования алгоритма, который может пригодиться любой компании, выполняющей анализ данных доставки.

Отмечу, что первоначальное и основное предназначение Муравьиной логистики – это формирование маршрутов по заданным пользователем параметрам. За 9 лет работы сервиса появилось множество дополнительных возможностей, в том числе построение фактического маршрута движения автомобиля на основании данных GPS-трекера. Но нашим клиентам было недостаточно просто видеть на карте траекторию движения автомобиля. Сервис должен предоставить в удобном формате уже проанализированные данные - каждой плановой точке маршрута автомобиля необходимо присвоить соответствующую фактическую стоянку.

Многие из вас слышали про мировой успех облачных компаний и таких компаний как Amazon Web Services, Microsoft Azure и Google Cloud Platform. Сейчас мы видим, как отечественное облако активно развивается – Яндекс Облака, Mail.ru облако и Сбербанк тоже работает в этом направлении.

Лично у меня нет опыта работы с отечественным облаками и пока они еще достаточно молодые, но, я очень надеюсь, что они справятся с задачей и у нас появятся конкурентно способные облачные провайдеры.

Сам я занимаюсь задачами аналитики и инжиниринга данных, то есть работаю с buzz words – Big Data, Data Platform, Lakehouse, Data Lake, Data Science, Machine Learning (ML), AI и т. п., в крупных международных компаниях – Amazon, Microsoft, Xbox.  Про все эти дела я уже 3 года успешно пишу в своем телеграмм канале Инжиниринг Данных, где уже больше 10 тысяч подписчиков.

Я работаю с облаками с 2014 года, с 2016 по 2020 в Амазоне (почти 5 лет), где принимал участие в знаменитом проекте Rolling Stone по миграции on-premise инфраструктуры для аналитики в облако AWS.

Привет, я Кирилл Шеховцов, технический лидер в SberCloud и ментор хакатонов Сбера. Я знаю, как выглядит внутренняя кухня таких соревнований, чем они интересны и как сделать так, чтобы ваша команда прошла отбор и победила в конкурсе — обо всем этом расскажу сегодня. Эти знания пригодятся вам не только на хакатонах, но и на других тематических соревнованиях — например, на нашем онлайн-чемпионате по анализу данных AI Journey Contest 2021.

Всем привет, приходилось иметь дело с каким-либо продуктом, в котором упоминалось слово «автоматизация»? Сейчас всё чаще нам приходится встречаться с автоматизацией множества процессов внутри компаний разного калибра, как крупных, так и не очень. И хотелось бы рассказать об одном из таких средств автоматизации тестирования, как Automated Test Framework, или же просто ATF, широко применяемом в рамках ServiceNow. В статье описана вводная часть, состоящая из нескольких разделов, в совокупности дающая общее представление об опыте применения автоматизированного тестового фреймворка на практике, плюсы и минусы, перспективы развития, в том числе совокупный отзыв и впечатления других разработчиков о том, чего не хватает, с какими проблемами приходится сталкиваться и чем решение может быть полезно.

Едва ли не каждая современная технологическая компания продает облачные вычислительные мощности или что-то с ними связанное. Это нормально: облачный рынок год от года растет, становится богаче и шире. Однако вряд ли хотя бы один современный маркетолог или разработчик хотя бы раз всерьез задавался вопросом, откуда вообще пришел этот термин. Что под ним понимали авторы оригинальной концепции? Под катом мы исправим эту историческую несправедливость и назовем имена основоположников облачного подхода.

Вы заинтригованы? Добро пожаловать под кат!

Netflix создаёт интересный и качественный контент, который часто собирает награды на фестивалях, так что потребности студии подталкивают технологический прогресс. Так появились облачные конвейеры постпроизводственного редактирования и совместной работы, которые требуют сложного набора функций, включая создание и размещение высококачественного прокси-контента. После получения, проверки и кодирования контента этап упаковки инкапсулирует закодированные видео и аудио в независимые от кодека медиаконтейнеры. Благодаря этому становятся доступными синхронизация аудио-видео, произвольный доступ к элементам и защита от копирования. 

Необходимость поддерживать рабочие процессы ставит перед упаковочной службой новые задачи. Но это коротко. А теперь давайте поговорим об этом подробнее.

Привет, Хабр! Меня зовут Роман Петров, занимаюсь разработкой продуктов для управления учетными данными в SberCloud. В рамках одного проекта мне потребовалось автоматизировать сборку виртуальных машин под VMware Cloud Director.

Можно было решить эту задачу с помощью инструментов VMware: Fusion, Workstation или Player, но они требуют покупки лицензий, а последний еще и установки не обновляемого пакета VMware VIX API в случае GNU\Linux. Я выбрал альтернативный путь и построил необходимый пайплайн на базе опенсорсного VirtualBox.

Под катом — кратко о том, как я это сделал.

В Red Hat OpenShift 4.8 появилась общедоступная версия функции Bring Your Own Host для Windows, которая позволяет включать в кластер OpenShift кастомные ноды Windows (так называемые «ноды-питомцы», см. ниже). О чем вообще речь? У многих заказчиков в дата-центрах есть выделенные инстансы Windows-серверов, которые регулярно обновляются, патчатся и сопровождаются. Зачастую эти инстансы работают на платформах vSphere, OpenStack или на «голом железе». Было бы очень неплохо использовать эти сервера для запуска контейнерных нагрузок, сделав их вычислительные мощности частью гибридного облака. Именно эту задачу и решает Bring Your Own Host (BYOH) – берет и переносит on-premises нагрузки в облако.