Обновить
5.44

Облачные вычисления *

Концепция общего доступа к ресурсам

Сначала показывать
Порог рейтинга
Уровень сложности

Cloudflare Workers: что это и с чем едят

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели6K

Cloudflare Workers — это платформа, которая позволяет деплоить приложение без необходимости настраивать сервер или разбираться с Kubernetes. Просто пишешь код, деплоишь его, и он работает — масштабируемо, быстро и без головной боли.

Читать далее

Как мы обрабатываем аналитические данные с помощью Redpanda Connect

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели1.3K

Привет, Хабр! Я Артём Чаадаев, бэкенд-разработчик в Туту. Я занимаюсь разработкой на языке Go в команде ассортимента размещения. Мы отвечаем за работу с контентом отелей и интеграции с поставщиками.

Периодически мы собираем данные для аналитики, и в таких задачах нужно реализовывать схему отправки данных в ClickHouse. В этой схеме мы преобразовываем данные с помощью Redpanda Connect. В статье покажу простой практический пример работы с этим инструментом, который должен помочь тем, кто только начинает его использовать. А еще расскажу про преимущества и проблемы, с которыми мы столкнулись при работе с Redpanda Connect.

Читать далее

Стратегии деплоя: как мы пришли к использованию Argo CD

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели7K

Привет, Хабр! Меня зовут Егор Салиев, я DevOps-инженер в провайдере IT-решений Hilbert Team. Сегодня хочу затронуть тему, которую недавно обсуждали на Kuber MeetUp в Selectel, и которая будет интересна инженерам, занимающимся настройкой CI/CD и деплоем. Рассмотрим, как со временем менялась практика развертывания приложений в Kubernetes. Обсудим переход от ручного процесса к автоматизации и сравним две модели деплоя: push и pull.

В результате мы дойдем до современного подхода — GitOps с Argo CD. Такой метод помогает компаниям стандартизировать процессы, уменьшить количество ошибок и сбоев, ускорить вывод продукта на рынок, а также сократить расходы на инфраструктуру.
Читать дальше →

Данные на льду: как Apache Iceberg перевернул мир аналитических систем

Время на прочтение11 мин
Охват и читатели13K


Вы когда-нибудь ловили себя на мысли, что ваш Data Lake больше похож на черный ящик, чем на систему хранения? Дубли, потерянные версии, медленные запросы — вместо четкой структуры хаос, который только растет. Добро пожаловать в реальность работы с Parquet, ORC и классическими подходами к хранению данных. Они неплохи, но не умеют версионировать, оптимизировать и управлять транзакциями так, как это действительно нужно.

И вот появляется Apache Iceberg — файловый формат, который уже используют в Netflix, Apple, LinkedIn и Stripe для хранения петабайтов данных с минимальными издержками на поддержку. Но что делает его таким особенным? Почему его называют «Data Lake без боли»? И самое главное — как заставить Apache Iceberg работать на вас? Давайте разбираться.
Читать дальше →

Я проверил, сколько вы платите за одинаковое железо в разных облаках

Время на прочтение43 мин
Охват и читатели23K
image
Чем короче полоска, тем, вероятно, больше вас переподписывают или более старое железо предлагают. Что это за график — ниже

Идея очень простая: покупаю одинаковые тарифы на одинаковом железе и гоняю тесты. Удивляюсь, немного охреневаю, снова гоняю тесты.

Ну и вот теперь показываю вам.

Задача: понять, насколько одинаковый тариф с одинаковым количеством vCPU и RAM выражается в реальную производительность у разных провайдеров.

Забегая вперёд — у меня нет вопросов к Селектелу, Клауд.ру (Сберу) и Яндексу (почти). У них переподписки, вроде, нет. А вот дальше начинается дичь.

Разница такая, что я чувствую, что оставлю свою инсталляцию и сделаю из этого сервис, чтобы можно было прогнать тесты каждому самостоятельно. Но пока давайте покажу результаты.
Читать дальше →

Почему искусственный интеллект такой дорогой: пять причин от Bloomberg

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели1.6K

Глобальная гонка за всё более мощными моделями искусственного интеллекта дарит крупнейшим IT-гигантам небывалые возможности, но одновременно толкает их на колоссальные траты. Microsoft, Google и Meta уже инвестируют миллиарды в создание и обслуживание масштабных систем, расширяя облачные мощности и строя новые дата-центры. Однако за первыми успехами скрываются астрономические затраты на инфраструктуру, чипы и кадры, заставляя рынок гадать, куда приведёт стремительный рост ИИ-технологий и готов ли бизнес платить столь высокую цену за будущее.

Читать далее

Все встревожены взлетом DeepSeek — кроме Nvidia, которая этому способствовала

Время на прочтение9 мин
Охват и читатели2.3K

Акции Nvidia просели в цене, а регуляторы ограничивают её продажи чипов, но американский гигант ИИ смотрит в будущее и ведёт долгую игру в Китае. Авторы издания The Wall Street Journal объясняют, почему релиз DeepSeek не сможет пошатнуть доминацию Nvidia на рынке чипов для искусственного интеллекта.

Читать далее

Путеводитель по китайской микроэлектронике: Loongson, Feiteng, Kunpeng, Zhaoxin, Hygon, Sunway

Уровень сложностиПростой
Время на прочтение14 мин
Охват и читатели4.5K

Китайская индустрия создания CPU уникальна, причем, не только за счет национального калорита, но огромного многообразия производителей, каждый из которых предлагает уникальные технологические решения. Мы насчитали целых 8 производителей и выделили их уникальные архитектуры, такие как LoongArch LA464 от Loongson, FTC от Feiteng, CN86 от Zhaoxin, а также ряд других других интересных платформ и технологий, о которых вам определенно хотелось бы узнать. В этом путеводителе по китайской полупроводниковой индустрии мы рассказали о всех наиболее интересных и перспективных китайских чипмейкерах, а также об их передовых центральных процессорах.

Читать далее

Как сгладить облачные турбулентности

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели576

В условиях ограничения доступа к самым современным технологиям компании всё чаще стремятся переложить заботу о поддержании работоспособности ИТ-инфраструктуры на профессионалов. И вариантов тут два: либо консолидировать вычислительные ресурсы на собственной технологической площадке, развитием которой будут заниматься своя ИТ-служба, либо отдавать вычислительные ресурсы на аутсорсинг, то есть пользоваться услугами облачных провайдеров. Проще, конечно же, доверить управление ИТ-инфраструктурой сторонним профессионалам, однако надежнее и безопаснее развивать собственные компетенции за счет внедрения современных средств автоматизации управления Центрами обработки данных (ЦОД).

Читать далее

Что такое модель claims в Kubernetes: гибкость и эффективность управления ресурсами

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели1.4K

В статье разбирается модель claims и её ценность для управления ресурсами в Kubernetes. Узнайте, как она помогает разделять желаемое и наблюдаемое состояния ресурсов.

Читать далее

Совместные конфиденциальные вычисления: как это работает

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели1.9K

Моя основная деятельность — конфиденциальная обработка данных. Это такая развивающаяся область науки и техники, в которой часто возникает что-то новое, поэтому терминология ещё не устоялась. То, чем я занимаюсь, по-английски называется Secure Multi-Party Computation, а на русский переводят как совместные или многосторонние вычисления. Однажды я видел перевод: «многопартийные вычисления», – но, надеюсь, это единичный случай. Лично мне нравится вариант: «конфиденциальные вычисления», который использует википедия. Его буду использовать и я.

Представьте, вы собрали какие-то ценные данные, зашифровали их и сохранили на диске. Таким образом, вы защищаете данные во время хранения (data-at-rest). Далее, предположим, вам нужно передать данные по сети с одного сервера на другой. Серверы устанавливают защищённое соединение и обмениваются данными – снова зашифрованными. Так серверы защищают данные во время передачи (data-in-transit). Пока всё знакомо и понятно. Далее вы собираетесь делать то, ради чего вы эти данные собирали, хранили и передавали: использовать их. Что-нибудь посчитать, агрегат какой-нибудь, статистику или даже модельку обучить. Анализировать зашифрованные данные —, затруднительно, поэтому вы их расшифровываете и… делате беззащитными.

Во-первых, это странно: вы старательно защищали данные, когда хранили и передавали, и вдруг почему-то перестали. Во-вторых, это опасно: атаки, утечки, несанкционированный доступ, всё, что угодно может случиться, когда данные уязвимы. Ну, и в-третьих, расшифровывать не обязательно: существуют методы, защищающие данные, когда они используются (data-in-use). Совместные конфиденциальные вычисления – один из них.

Читать далее

Дешевые облака, или зачем настраивать FinOps

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели1.7K

Привет, Хабр! 

Зима пришла стремительно, и принесла с собой много новых идей, ключевых решений, а самое главное, пересмотр уже устоявшихся концепций и парадигм. Одной из таких идей на первый план вышла FinOps (Financial Operations), практика по управлению расходами, применительно к облачным технологиям. Этот подход ставит целью проведение глубокого анализа облачных расходов и работу с реализацией продуктовых задач компаний. Он помогает видеть комплексно процессы компании и объединять усилия команд, для оптимизации операционных процессов. Зачем это нужно? Цифры подскажут: 

Читать далее

Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

Уровень сложностиСредний
Время на прочтение15 мин
Охват и читатели2.1K

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.

Читать далее

Ближайшие события

Использование clickhouse в разных средах

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели2.2K

Всем привет. Данная статья не более чем эксперимент. Тем более, что сейчас есть тренд на запуск баз данных в контейнерах т.к. это действительно производительнее и нет лишнего оверхеда в сравнении использования технологий, которые используют виртуализацию. Во многих статьях есть поле манипуляций — это выводы на основе одного бенчмарка или когда надо доказать и обосновать, что принятое решение самое лучшее. В рамках статьи будет проверка работы clickhouse запускаемый в qemu‑kvm, firecracker, containerd.

Читать далее

Гиперконвергенция в облаке – от VMware до OpenStack

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели8.7K

Привет, Хабр! В этой статье расскажем о гиперконвергенции и как ее можно реализовать разными путями в облаке. А также просто разберемся, чем она отличается от виртуализации с контейнерами. Для начала дадим определение гиперконвергенции, далее поговорим про OpenStack и VMware и затем перейдем к деталям реализации. 

Читать далее

Как мы строим публичное облако с нуля: опыт MWS

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели4.4K

Привет, Хабр! Меня зовут Данила Дюгуров, я CTO MWS. Сегодня расскажу, как наша команда создаёт облако MWS, и на его примере разберу ключевые концепции, которые лежат в основе построения облаков в целом: от аппаратного обеспечения и выбора сетевой архитектуры до организации работы в инфраструктурной команде. А ещё порассуждаю о том, что лучше для облачного провайдера — вендорский софт или OpenStack — и что в итоге выбрали мы. Спойлер: ни то ни другое.

Читать далее

Поднимаем в облаке расшифровку речи в текст с помощью нейросетей. VPS на пределе возможностей

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели9.6K


Привет, Хабр! В этом посте я продолжаю цикл статей о том, как выжать максимум из обычного VPS от RUVDS. В прошлый раз мы экспериментировали с языковыми моделями, а сегодня попробуем запустить систему распознавания речи — FasterWhisper, оптимизированную версию модели Whisper от OpenAI. Как и в прошлый раз, сделаем это в рамках бюджета в 5000 рублей в месяц.
Читать дальше →

Почему облака — это дёшево, чертовски дешево

Время на прочтение4 мин
Охват и читатели3.3K

Раньше я считал, что публичные облака дорогие, и как я заблуждался! Да что говорить, многие мои знакомые так и считают. Но я попробую объяснить, почему это совсем не так, и я изменил свое мнение!

Читать далее

Проектирование serverless функций

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели2.6K

Serverless функции - отличная возможность не думать о масштабировании, легко деплоить, а также использовать free tier для своих телеграм-ботов. В своей практике я часто использую этот подход и хочу поделиться опытом, когда это действительно удобно, а когда лучше посмотреть в сторону других решений.

Если у нас простая задача, например отправлять уведомления по вызову и событиям, то в целом проблем нет (только нюансы реализации). Но если мы хотим один или несколько микросервисов, или целое приложение разделить на serverless функции - тут начинаются интересные вещи. Нужно так спланировать свое приложение, чтобы оно было разделено по функциям, при этом его легко можно было масштабировать и расширять.

В этой статье хочу разобрать, каким образом проектировать и делить приложение, когда этот подход имеет смысл, а когда нет. За последние годы я реализовал несколько проектов на serverless архитектуре, и постараюсь поделиться основными принципами и подводными камнями, с которыми столкнулся.

Читать далее

Применение аппаратных ускорителей в SDN: как мы добились скорости передачи пакетов на уровне Bare Metal

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели1.7K

Каждый, кто имеет дело с более-менее крупной IT-инфраструктурой, знает, что в мире сетей есть две прямо противоположных реальности. В одной — виртуализация с эффективным дроблением ресурсов, но потерей скоростей, в другой — Bare Metal с высокой скоростью и мощностью, но слабой гибкостью в вопросах выделения ресурсов. И если вы уже задались вопросом: «А можно без крайностей?», я инженер R&D-команды Cloud.ru Вадим Михеев, расскажу, как нам удалось достичь скоростей передачи пакетов в SDN на уровне Bare Metal на примере облака OpenStack. А еще посмотрим, какой прирост к скорости передачи пакетов дает технология ASAP².

Статья будет полезна всем обладателям железок NVIDIA Mellanox ConnectX-5/6/7, использующим виртуализацию, ну а остальные смогут посмотреть, какие способы ускорить сеть для своих клиентов мы тестируем и, возможно, вдохновиться.

Узнать больше

Вклад авторов