Крупные облачные провайдеры всё чаще сталкиваются с давлением со стороны проектов на базе открытого исходного кода. Их разработчики меняют условия лицензий и вводят ограничения, связанные с запуском управляемых сервисов: в блоге beeline cloud мы уже обсуждали ситуацию с CentOS. С другой стороны, продолжают развиваться и открытые проекты, позволяющие компаниям развернуть собственную инфраструктуру. Поговорим о том, способны ли платформы вроде OpenStack и UbiCloud стать массовыми.
Привет, меня зовут Даниил, и я алкоголик инженер, занимаюсь автоматизацией разных штук в компании DDoS-Guard, люблю творческие решения и сложные проекты. После одного из них у меня появилось гораздо больше седых волос, о нем и расскажу.
Мы создали универсальное, полностью автоматизированное решение по быстрой сборке VDS, сохранив баланс между удобством и безопасностью. Как это удалось и чем пришлось пожертвовать — под катом.
После ухода из России компании VMware и других крупнейших мировых поставщиков решений виртуализации и облачной инфраструктуры, появилась срочная задача найти альтернативу привычным инструментам. В процессе поиска команда Linx исследовала одно из доступных на российском рынке решений ― программно-аппаратную платформу виртуализации SharxBase. Делимся своими впечатлениями.
Привет, Хабр.
Это вторая статья в цикле, в котором мы рассматриваем архитектуру основных сервисов OpenStack. Первая, в которой я рассказывал о Nova и общих паттернах построения платформы, находится здесь. Сегодня погрузимся в детали реализации сервиса DBaaS, который в платформе носит название Trove. Мы посмотрим, как устроены основные компоненты сервиса и их взаимодействие, затронем некоторые особенности реализации механизмов безопасности, а также кратко обсудим особенности code-style.
Статьи про YDB публиковались на Хабре ещё до выхода в open source, а отдельным блогом мы обзавелись всего несколько недель назад. В связи с этим проведём небольшую ретроспективу — что пишут про YDB в других хабах.
Облачные сервисы — это отлично, но, если ими начинают пользоваться разные команды в компании, вопрос управления затратами превращается в «черный ящик». Когда мы только начинали нашу историю с FinOps, то даже не представляли, насколько эффективнее можно раскрутить историю с арендой облачных мощностей. Но оказалось, что расширение практик управления затратами помогает получить от облаков еще больше отдачи и не допустить необдуманных трат (а то один стартап решил как-то вечером расшифровывать ДНК на арендованных мощностях, а утром закрыл компанию, потому что потратил все деньги). О том, как это было, какие грабли мы собрали по пути, как нам помогла команда ИБ и за счет чего мы теперь экономим до 20% на облачных счетах, читайте под катом.
Производные Stable Diffusion набрали огромную популярность, что не могло обойти стороной нагрузку серверов Google Colab, которые они на бесплатной основе предоставляли энтузиастам в сфере ML.
Однако, огромный онлайн на серверах гугла, связанный с бесконечным количеством отаку, желающих бесплатно рисовать аниме персонажей на свой вкус и цвет не мог остаться незамеченным, как следствие ограничения не заставили себя долго ждать (на самом деле заставили - почти полгода).
В общем, пару месяцев назад таки появился в правилах использования Colab пунктик об Webui`ях разных. Но мы пользователи опытные, знаем что не пойман - не вор. Однако, всевышние силы посылают всплывающие окна, тем самым даже думать нам запрещают об нарушении правил!
Стриминг сейчас активно применяется в онлайн-образовании и эвент-индустрии, потоковое видео широко используется для трансляции в интернете спортивных состязаний, концертов и выступлений экспертов. Завоевав первоначальную популярность на игровом рынке, стриминг постепенно превратился из развлечения и хобби для геймеров в серьезный бизнес, приносящий неплохой доход. До недавнего времени организация онлайн-видеотрансляций требовала внушительных затрат на оборудование, программное обеспечение и быстрый канал подключения к интернету. Появление облачных сервисов свело эти затраты к минимуму, благодаря чему запустить стрим теперь может каждый желающий. Сегодня мы поговорим об используемых в стриминге облачных технологиях и обсудим, как этот бизнес будет развиваться в ближайшем будущем — в общих чертах, без конкретных примеров кода и подробного описания реализации.
Сегодня мы кратко расскажем о подходах, стеке, фреймворках и облачных решениях, на которых построена наша технологическая платформа. Передаем слово Юрию Буйлову, техническому директору «СберАвто».
В офисе Compaq Computer в 1996 небольшая группа технических руководителей прогнозировала будущее интернет-бизнеса и называла его «облачными вычислениями». Они «предсказали», все программное обеспечение для бизнеса переместится в Интернет, а так же то, что потребительские файловые хранилища тоже переедут в облако.
Шон О'Салливан два года делал свой стартап NetCentric, целью которого было запихнуть софт в интернет (software inside the internet). Compaq проинвестировали 5 млн долларов и выделили своего директора по маркетингу Джорджа Фавалоро, чтобы написать нормальный бизнес-план.
NetCentric столкнулся с трудностями и был продан в 2001 году. Для Compaq это стало началом 2-миллиардного бизнеса по продаже серверов интернет-провайдерам.
До "облачных вычислений" О'Салливан основал в 1986 году MapInfo (один из первых location-based services) и за 7 лет набрал более миллиона пользователей и капитализацией 200 млн долларов. А в 2011 О'Салливан пытался сделать свой Uber. Вернемся к облачным вычислениям.
Есть мнение, что платформа OpenStack теряет актуальность, но с этим утверждением согласны не все. Разберемся, в чем дело и обсудим альтернативы.
Про colab знают, наверное, все. Этот инструмент позволяет независимым исследователям использовать облачную инфраструктуру с GPU и TPU бесплатно или почти бесплатно.
Как всегда, проблемы возникают на больших данных. Если ваш датасэт лежит в google drive (он же Диск), то вы можете обращаться к нему напрямую из colab. Однако, если файл велик, например, 70+ GiB, то процесс обучения будет существенно медленнее, чем если бы этот же файл лежал в локальном хранилище, которое выделяется при создании инстанса.
Выход - скопировать файл с Диска в локальное хранилище (обучение станет быстрее в несколько раз!). Но дело в том, что colab и вся инфраструктура очень умная, файлы с Диска кэшируются каким то неуправляемым вами алгоритмом. И если у вашего инстанса, допустим, доступно ~120 GiB, то 70 GiB с Диска вы не скопируете, у вас закончится свободное место как раз из-за системы кэширования. То есть, команда cp не отработает корректно. И rsync то же. И tar. Кэширование работает на уровне драйвера. По сути файл копируется в локальное хранилище дважды. Шах и мат!
Так что вот вам небольшой костылёк:
Привет, Хабр! Меня зовут Кирилл Шеховцов, и я технический лидер в SberCloud. Сегодня расскажу, как быстро интегрировать пайплайн Continuous Integration/Continuous Delivery (CI/CD) и продуктовый подход к проектированию приложений в облаке SberCloud.Advanced. Эта обзорная статья будет полезна начинающим ИТ-специалистам и предпринимателям, которые только осваивают работу в облаке. Я составил материал в виде пошаговой инструкции, которой могут воспользоваться как крупные, так и небольшие команды разработчиков.
Хоть мы тогда и сами об этом не знали, но создавать сервис для аренды выделенных серверов мы начали два года назад. При запуске новых регионов публичного облака нам требовалось оперативно развернуть множество серверов разных конфигураций по всему миру, но целыми днями заниматься этим вручную никто не хотел. Вместо людей со стальными нервами мы нашли более изящное решение в лице Ironic — сервиса OpenStack для провижининга «голого железа». Совместно с другими инструментами он позволял и раскатывать образ, и настраивать систему, и на тот момент этого уже было достаточно. Позже в Ironic появились такие возможности, что это решение начало закрывать вообще все наши задачи по управлению инфраструктурой в облаке. А раз уж мы справились с этим, то почему бы не сделать на основе служебного инструмента публичный сервис с автоматической подготовкой выделенных серверов? О том, что из этого вышло — под катом.
Каждая организация использует множество приложений, каждое приложение имеет свою базу данных. В этих базах хранится описание одних и тех же объектов бизнес-процессов с разных точек зрения. Это порождает необходимость в сложных, дорогих и не всегда эффективных интеграционных решениях.
Мы расскажем о дата-центрической архитектуре — «волшебной пуле», позволяющей забыть об интеграции и открыть новые возможности для создания гибких и управляемых бизнес-приложений, аналитики и монетизации данных за счет их использования при принятии решений.
