Как стать автором
Обновить
20.24

Облачные вычисления *

Концепция общего доступа к ресурсам

Сначала показывать
Порог рейтинга
Уровень сложности

Разбиение файлов Terraform на компонуемые слои

Уровень сложности Сложный
Время на прочтение 9 мин
Количество просмотров 1.3K
Туториал
Перевод
Terraform позволяет создать облачную инфраструктуру с помощью всего одной команды. Допустим, вы хотите запустить Elasticsearch и Kibana в кластере Kubernetes.

Для этого можно написать несколько файлов .tf и выполнить команду terraform apply для инициализации кластера Kubernetes и развёртывания на нем нескольких подсистем.

image

Теперь предположим, что вам нужны и другие экземпляры стека Elastic, которые можно использовать для демонстрации. В этом случае придется создать новые рабочие пространства Terraform и выполнить terraform apply несколько раз.

Проблема такого подхода заключается в том, что в этом случае придется каждый раз реплицировать всю инфраструктуру. Следовательно, у вас будет несколько кластеров Kubernetes. На запуск каждого кластера уходит не менее 15 минут, а его стоимость на AWS составляет 72 долл. в месяц.

image

Гораздо лучшей альтернативой было бы повторное использование одного кластера Kubernetes и создание на его основе нескольких сред. Таким образом, вы платите за один кластер, и вам не нужно ждать создания нового кластера каждый раз, когда вы создаете новую среду.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 0

Новости

Большое тестирование российских систем виртуализации. Статья первая, вводная

Время на прочтение 9 мин
Количество просмотров 2.9K
Обзор

Привет, Хабр!

Этой статьей я хочу начать цикл материалов, посвященный отечественным решениям серверной виртуализации. В этой серии я хочу поставить перед собой довольно амбициозную цель — помочь ИТ-специалистам в выборе системы виртуализации за счет прозрачного и всестороннего технического сравнения доступных на рынке продуктов.

Сегодня мы поговорим о том, что вообще происходит в отрасли, обозначим проблемы, с которым сталкиваются заказчики, и посмотрим, что предлагают отечественные вендоры. Поскольку протестировать все имеющиеся на рынке решения достаточно сложно, я предлагаю вам, читателям, выбрать интересующие системы виртуализации с помощью опроса в конце статьи.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 9

Платформа для анализа данных за вечер

Время на прочтение 11 мин
Количество просмотров 4.4K
Кейс

Текущее состояние российского рынка аналитических и ML-решений сложно назвать стабильным. Какие-то инструменты более недоступны, а на их место регулярно приходят новые. Причем не только вендорские, но еще и open source, а также облачные сервисы.

Инструменты «из коробки» не всегда подходят для решения всех необходимых задач. Какие-то слишком сложны для базовой аналитики, другие стоят больших денег, третьи заточены под определенный тип данных или более узкие задачи.

Один из набирающих популярность вариантов — собрать собственное решение, можно сказать, небольшую платформу данных. Варианты могут быть разнообразные — от разработки софта до интеграции готовых open source-элементов. Касаться первого варианта сегодня бы не хотелось, а вот второй рассмотрим подробнее.

В статье рассказываем, как всего за час (или почти) подготовить облачное окружение, создать свою небольшую платформу для анализа данных и спарсить весь Hugging Face.
Читать дальше →
Всего голосов 38: ↑35 и ↓3 +32
Комментарии 0

Введение в Cloud native. Часть 2. Принципы облачных приложений

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.1K

В прошлой первой части мы рассмотрели само понятие Cloud native и модели облачных вычислений. А так же выделили концепцию облачных приложений. В этой части рассмотрим их принципы.

Читать далее
Рейтинг 0
Комментарии 1

Истории

Пять подходов к созданию ad-hoc-датафреймов в PySpark

Время на прочтение 7 мин
Количество просмотров 1.1K
Перевод


Дата-инженеры, работающие с PySpark, часто сталкиваются с задачей создать логику обработки данных. Обычно речь идет о тестировании набора классов и функций. Современные платформы данных на основе Spark подчас содержат сотни, а то и тысячи разных модульных тестов, которые помогают командам по работе с данными сохранять целостную базу кода. В ежедневные рабочие задачи дата-инженера входит создание небольших датафреймов, которые используются в модульных тестах как входные и выходные значения.
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Комментарии 1

Стайлгайд PySpark: как сделать код элегантным

Время на прочтение 4 мин
Количество просмотров 1.3K
Перевод


Команда VK Cloud перевела статью о правилах оформления кода в PySpark. Они не обязательны для исполнения, но помогут сделать ваш код более читабельным и удобным для последующих проверок и изменений.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 2

Apache Ignite: как эта технология изменила подход к большим данным в Comindware

Время на прочтение 8 мин
Количество просмотров 1.1K

Вряд ли можно поспорить сегодня с аргументом, что скорость и эффективность обработки информации стали ключевыми факторами успеха любого цифрового проекта. При этом традиционные подходы к хранению и обработке данных уже не могут удовлетворить растущие потребности бизнеса и пользователей. Именно в этот момент на сцену выходит Apache Ignite — высокопроизводительная, распределенная платформа для вычислений в памяти. Рассказывает Александр Столяров, ведущий программист компании Comindware.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Комментарии 2

Введение в Cloud native. Часть 1. Определение и модель облачных вычислений

Время на прочтение 5 мин
Количество просмотров 1.4K

Широкое распространение облачных технологий привело к появлению парадигмы в разработке, внедрения и обслуживании компьютерных систем. Наиболее закрепившееся название этой парадигмы - "Cloud native".

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Почему большие языковые модели [пока] глупее, чем кажутся

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 4.7K
Мнение

Возможности LLM (large language models) вызывают растущий интерес со стороны разработчиков, исследователей и обывателей. Нейросети имитируют человеческую речь, могут поддержать диалог и написать текст на заданную тему. Однако с расширением спектра возможностей и применений интеллектуальных систем увеличивается и простор для некорректного использования результатов их работы. Становится сложнее понять, когда нейросеть генерирует не совсем точный ответ, и оценить риски для рабочих задач в той или иной отрасли. Поговорим о том, насколько серьезна проблема и что с ней можно сделать.

Читать далее
Всего голосов 23: ↑21 и ↓2 +19
Комментарии 0

«Квантовые облака»: как VK Cloud и разработчики делают квантовые вычисления ближе к бизнесу

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 1.4K
Кейс


Есть целый спектр задач, прежде всего промышленных, которые невозможно решить с помощью простых компьютеров. Суперкомпьютеры часто тоже оказываются бессильны из-за фундаментальных ограничений классической модели вычислений. Кроме того, решение многих задач становится экономически неоправданным из-за высокой стоимости суперкомпьютерной инфраструктуры. Поэтому у производственников и крупного бизнеса есть большой спрос на инструменты, которые могут проводить вычисления «за гранью» классических возможностей. В этом помогают квантовые процессоры и их эмуляторы.
Читать дальше →
Всего голосов 25: ↑24 и ↓1 +23
Комментарии 5

Перфоманс гипервизоров 1 и 2 типа

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 2.4K

Пример методики сравнения производительности гипервизоров 1 и 2 типа и неожиданные выводы, которые были получены опытным путем.

Читать далее
Всего голосов 11: ↑7 и ↓4 +3
Комментарии 13

Автомасштабирование приложения под нагрузкой, развернутого в Yandex Managed Service for Kubernetes

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 1.6K

Всем привет! Я работаю Dev-Ops инженером в небольшой команде и мы уже 4-ый месяц используем Yandex Cloud для наших сервисов. Так сложилось, что с Kubernetes и облачными вычислениями я столкнулся впервые, поэтому многое приходится изучать на ходу, иногда на "горьком" опыте. На данный момент наши микросервисы развернуты в зональном кластере Kubernetes с одним рабочим узлом, по одной реплике на каждый Deployment. Это означает, что никакой отказоустойчивости и масштабируемости нет и при малейшей нагрузке приложения упадут.

Поэтому, пока нагрузка идет только от команды разработчиков, я решил заранее побеспокоиться об отказоустойчивости наших сервисов, развернутых в Yandex Managed Service for Kubernetes. Сегодня я разверну на своем облаке Kubernetes кластер и покажу как будет вести себя автомасштабируемое приложение под нагрузкой. Для управления инфраструктурой воспользуемся Terraform, для имитирования нагрузки сервисом Yandex Load Testing (в стадии Preview) от Yandex Cloud.

Го масштабировать!
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Деплой приложения с nginx как по нодам

Время на прочтение 10 мин
Количество просмотров 5.3K

Привет, Хабр! В этом материале мы разберем деплой приложения на React, арендуем облачный сервер и настроим nginx. Здесь будет необходимый минимум для фронтенд-разработчика:

  • Заливка проекта на GitHub.
  • Аренда и настройка облачного сервера по SSH.
  • Настройка nginx для раздачи статических файлов.
  • Сжатие бандла.
  • Подключение домена.
  • Настройка HTTPS.
  • Настройка Docker.

Для этого материала также доступна видеоверсия.
Читать дальше →
Всего голосов 45: ↑41 и ↓4 +37
Комментарии 11

Ближайшие события

Битва пет-проектов
Дата 25 сентября – 30 ноября
Место Онлайн
PG Boot Camp Russia 2023
Дата 5 октября
Время 10:00 – 17:00
Место Москва Онлайн
Joker
Дата 9 – 14 октября
Время 16:00 – 19:30
Место Санкт-Петербург Онлайн
Открытый урок «Kafka Streams»
Дата 16 октября
Время 10:00
Место Онлайн
Питч-сессия pravo (tech) impulse
Дата 19 октября
Время 15:45 – 17:30
Место Москва
Russia Risk Conference 2023 — 19-я конференция по риск-менеджменту
Дата 25 – 26 октября
Время 10:00 – 19:00
Место Москва Онлайн
IT Recruiting – HR Forum 2023
Дата 8 – 10 ноября
Время 9:00 – 18:00
Место Москва
Онлайн IT HR-конференция HR42
Дата 17 – 18 ноября
Время 10:00 – 14:00
Место Онлайн
HighLoad++ 2023
Дата 27 – 28 ноября
Время 9:00 – 20:00
Место Москва Онлайн

Дайджест статей про YDB

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 1.1K
Дайджест

Статьи про YDB публиковались на Хабре ещё до выхода в open source, а отдельным блогом мы обзавелись всего несколько недель назад. В связи с этим проведём небольшую ретроспективу — что пишут про YDB в других хабах.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 10

Мультиоблачная архитектура: проблемы и подводные камни

Время на прочтение 6 мин
Количество просмотров 841
Мнение

Одновременное использование нескольких облачных провайдеров в одной инфраструктуре — популярная модель, которую в перспективе рассматривают многие крупные компании. В этом посте мы рассмотрим сценарии перехода к мультиоблаку, возможные проблемы и некоторые ошибки, которые можно допустить, если вы всё-таки на это решились.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0

Как приручить облачного зверя: раскрываем тему FinOps

Время на прочтение 10 мин
Количество просмотров 1.2K
Туториал

Закупать серверы или использовать «облако»? Какие риски есть в каждом из этих подходов? Как помирить тех, кто платит по счетам в компании и тех, кто может запустить дорогой ИИ-сервис на десять минут, забыть про него и обеспечить к концу месяца непредвиденные расходы организации? 

Облако даёт компаниям гибкость и мощность, но может легко выйти из-под контроля. Как приручить этого опасного зверя? 

В статье разберём:

Как взять облако под контроль и сделать расходы предсказуемыми.

Как FinOps помогает оптимизировать использование облачных сервисов.

Как избежать типичных ошибок и рисков при внедрении этой практики.

Читать далее
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 4

Надежность ВТБ: как мы добились «четырёх девяток» доступности банковских систем

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 3.7K

Привет! Меня зовут Иван Мартинович, я заместитель руководителя департамента поддержки прикладных систем и сервисов — вице-президент в ВТБ. В теперь уже далёком 2019 году мы запустили одну из ключевых программ цифровой трансформации банка, нацеленную на обеспечение надёжности целевых систем. О том, как мы проводили её в разгар пандемии коронавируса и что из этого всего вышло, мне бы и хотелось сегодня рассказать. Добро пожаловать под кат.

Читать далее
Всего голосов 22: ↑17 и ↓5 +12
Комментарии 20

Радикальная оптимизация расходов на AWS в пять шагов (мы сэкономили 80%)

Время на прочтение 7 мин
Количество просмотров 3.3K

Это история о том, как мы сократили расходы на AWS на 80% всего за две недели.

Для разработчиков AWS — это Клондайк возможностей

Начнем с того, что с 2018 года мы полностью перешли на AWS для всех наших проектов, и это действительно стало настоящим спасением. Наша команда полностью удаленная, поэтому владение собственным датацентром в какой-либо точке мира вызывало бы немало сложностей. Гораздо проще и экономичнее арендовать ресурсы у AWS, избегая при этом крупных капиталовложений.

Читать далее
Всего голосов 6: ↑4 и ↓2 +2
Комментарии 21

Зачем нужны облака и как правильно их использовать

Уровень сложности Простой
Время на прочтение 12 мин
Количество просмотров 3.6K
Обзор
image
На этой диаграмме хорошо видно, почему облачная инфраструктура позволяет гарантировать доступность вашего проекта

Есть хорошая фраза: «Нет никаких облаков, есть просто чужие вычислительные мощности».

Эту мысль стоит всегда держать где-то на заднем плане, когда планируешь развитие своей инфраструктуры. Облако — это не волшебная коробочка, которая гарантирует 100-процентную неубиваемость сервисов и их доступность. Это скорее история про быстрое получение почти произвольного объёма ресурсов ровно на тот период, когда они вам нужны. Где-то в бэкенде всё равно крутятся те же самые сервисы, выходят из строя и заменяются жёсткие диски. Просто теперь большинство этих задач — не ваша головная боль.

Привет, меня зовут Олег Вознесенский, и я руководитель разработки отдела развития инфраструктуры для анализа данных в Газпромбанке. Сегодня я попробую рассказать про то, какие основные выгоды можно получить от облаков, какими они бывают и как правильно строить свою инфраструктуру, чтобы потом не было мучительно больно. Поговорим о классической дилемме питомцев и домашнего скота и о том, как правильно всё это запекать.

Если в ядре вашей инфраструктуры до сих пор есть сервера, которые тщательно настраиваются вручную уже шестым поколением бородатых людей в свитерах, то пост может быть вам полезен.
Читать дальше →
Всего голосов 27: ↑27 и ↓0 +27
Комментарии 3

Создание облачных приложений с помощью Kubernetes и Istio — Келси Хайтауэр

Уровень сложности Средний
Время на прочтение 12 мин
Количество просмотров 1.7K
Перевод

Всем привет!

Мы подготовили перевод выступления Келси Хайтауэра на тему «Создание облачных приложений с помощью Kubernetes и Istio» (конференция O’Reilly). Автор рассуждает о преимуществах совместного использования Kubernetes и Istio, рассказывает, что такое sidecar, bar и foo, показывает как отразить матрицу в дашборде и как начать «разговаривать» с инфраструктурой. На примерах он демонстрирует процесс работы с Istio.
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 2

Вклад авторов