Обновить
128K+

Облачные вычисления *

Концепция общего доступа к ресурсам

25,91
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности

Подходы к автоматизации создания окружений для R&D-команд

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели3.3K

Привет! Меня зовут Михаил Кажемский, я ведущий DevOps-инженер в ИТ‑интеграторе Hilbert Team. В этой статье я расскажу о различных подходах к созданию унифицированных типовых R&D-окружений: создание динамических окружений в Kubernetes, создание статических окружений с помощью Terraform и Terragrunt и создание окружений с помощью CrossPlane и Argo CD.

Прочитав статью, вы поймёте, как разрабатывать цифровые продукты быстрее и эффективнее и избавить команды разработчиков от лишней рутины.

Читать далее

DataOps Platform: из чего состоит наша платформа для работы с данными и как мы её создавали

Время на прочтение5 мин
Охват и читатели7.6K

Привет, Хабр! Меня зовут Наджим Мохаммад, я руководитель продукта МТС. Вместе с моим коллегой, руководителем направления разработки платформы МТС Big Data Максимом Бартеневым сегодня мы  поговорим об эволюции платформ данных и нюансах работы платформы МТС для работы с данными. Также обсудим историю развития самой DataOps Platform.

Читать далее

Сколько стоит ваш Wi-Fi?

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели49K

А вы задумывались когда нибудь, сколько стоит разгадать пароль вашего Wi-Fi? Понятно, что все прекрасно помнят, что с увеличением длины парольной фразы - увеличивается сложность и при достаточной длине, перебор занимает ХХХХ - лет.

Давайте разберемся - сколько это стоит...

Маркетплейс или облачный интегратор: дилемма “одного окна” в корпоративных ИТ

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели2.1K

Помните, как до 2022 года шли непрерывные разговоры про миграцию всего и вся в публичные облака, про оптимизацию затрат и преимущества гибкого cloud-подхода? В то время многие компании приняли облачный тренд как основу своего развития и основную инфраструктурную парадигму. Эффективен ли этот подход в условиях текущего ИТ рынка в России? Как изменились ожидания и запросы клиентов, обращающихся к облачному провайдеру? Почему облачному оператору приходится становиться интегратором? Об этом мы поговорим сегодня.

Читать далее

Как мы в VK Cloud SDN-ы писали

Время на прочтение17 мин
Охват и читатели13K


С приходом широкополосного доступа и высоких скоростей мобильного интернета нагрузка на сеть стала одним из ключевых бутылочных горлышек для производительности систем. Сетевые провайдеры столкнулись с необходимостью постоянно увеличивать и оптимизировать сетевую пропускную способность и ёмкость при сохранении прибыли. Попыткой решить эту задачу стала Software Defined Network — концепция выведения сетевых функций из специализированного железа на программный уровень и дальнейшего разделения ответственности на разные слои.
Читать дальше →

Организация GPU-вычислений для машинного обучения в компании: проблемы и трудности

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели3.1K

По мере того как компании стремятся использовать возможности искусственного интеллекта, резко возрос спрос на специализированные вычислительные ресурсы, в частности, на графические процессоры (GPU). Графические процессоры раньше ассоциировались в основном с играми и графикой, но теперь стали основой многих операций машинного обучения. 

В данной статье мы рассмотрим значение вычислений на GPU в сфере машинного обучения, ключевую роль ИИ в современном бизнесе и проблемы, с которыми сталкиваются компании при обеспечении эффективности вычислительных ресурсов.

Читать далее

Разбиение файлов Terraform на компонуемые слои

Уровень сложностиСложный
Время на прочтение9 мин
Охват и читатели3.5K
Terraform позволяет создать облачную инфраструктуру с помощью всего одной команды. Допустим, вы хотите запустить Elasticsearch и Kibana в кластере Kubernetes.

Для этого можно написать несколько файлов .tf и выполнить команду terraform apply для инициализации кластера Kubernetes и развёртывания на нем нескольких подсистем.

image

Теперь предположим, что вам нужны и другие экземпляры стека Elastic, которые можно использовать для демонстрации. В этом случае придется создать новые рабочие пространства Terraform и выполнить terraform apply несколько раз.

Проблема такого подхода заключается в том, что в этом случае придется каждый раз реплицировать всю инфраструктуру. Следовательно, у вас будет несколько кластеров Kubernetes. На запуск каждого кластера уходит не менее 15 минут, а его стоимость на AWS составляет 72 долл. в месяц.

image

Гораздо лучшей альтернативой было бы повторное использование одного кластера Kubernetes и создание на его основе нескольких сред. Таким образом, вы платите за один кластер, и вам не нужно ждать создания нового кластера каждый раз, когда вы создаете новую среду.
Читать дальше →

Большое тестирование российских систем виртуализации. Статья первая, вводная

Время на прочтение9 мин
Охват и читатели41K

Привет, Хабр!

Этой статьей я хочу начать цикл материалов, посвященный отечественным решениям серверной виртуализации. В этой серии я хочу поставить перед собой довольно амбициозную цель — помочь ИТ-специалистам в выборе системы виртуализации за счет прозрачного и всестороннего технического сравнения доступных на рынке продуктов.

Сегодня мы поговорим о том, что вообще происходит в отрасли, обозначим проблемы, с которым сталкиваются заказчики, и посмотрим, что предлагают отечественные вендоры. Поскольку протестировать все имеющиеся на рынке решения достаточно сложно, я предлагаю вам, читателям, выбрать интересующие системы виртуализации с помощью опроса в конце статьи.

Читать далее

Платформа для анализа данных за вечер

Время на прочтение11 мин
Охват и читатели9.2K

Текущее состояние российского рынка аналитических и ML-решений сложно назвать стабильным. Какие-то инструменты более недоступны, а на их место регулярно приходят новые. Причем не только вендорские, но еще и open source, а также облачные сервисы.

Инструменты «из коробки» не всегда подходят для решения всех необходимых задач. Какие-то слишком сложны для базовой аналитики, другие стоят больших денег, третьи заточены под определенный тип данных или более узкие задачи.

Один из набирающих популярность вариантов — собрать собственное решение, можно сказать, небольшую платформу данных. Варианты могут быть разнообразные — от разработки софта до интеграции готовых open source-элементов. Касаться первого варианта сегодня бы не хотелось, а вот второй рассмотрим подробнее.

В статье рассказываем, как всего за час (или почти) подготовить облачное окружение, создать свою небольшую платформу для анализа данных и спарсить весь Hugging Face.
Читать дальше →

Введение в Cloud native. Часть 2. Принципы облачных приложений

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели3.5K

В прошлой первой части мы рассмотрели само понятие Cloud native и модели облачных вычислений. А так же выделили концепцию облачных приложений. В этой части рассмотрим их принципы.

Читать далее

Пять подходов к созданию ad-hoc-датафреймов в PySpark

Время на прочтение7 мин
Охват и читатели2.9K


Дата-инженеры, работающие с PySpark, часто сталкиваются с задачей создать логику обработки данных. Обычно речь идет о тестировании набора классов и функций. Современные платформы данных на основе Spark подчас содержат сотни, а то и тысячи разных модульных тестов, которые помогают командам по работе с данными сохранять целостную базу кода. В ежедневные рабочие задачи дата-инженера входит создание небольших датафреймов, которые используются в модульных тестах как входные и выходные значения.
Читать дальше →

Стайлгайд PySpark: как сделать код элегантным

Время на прочтение4 мин
Охват и читатели5.1K


Команда VK Cloud перевела статью о правилах оформления кода в PySpark. Они не обязательны для исполнения, но помогут сделать ваш код более читабельным и удобным для последующих проверок и изменений.
Читать дальше →

Apache Ignite: как эта технология изменила подход к большим данным в Comindware

Время на прочтение8 мин
Охват и читатели12K

Вряд ли можно поспорить сегодня с аргументом, что скорость и эффективность обработки информации стали ключевыми факторами успеха любого цифрового проекта. При этом традиционные подходы к хранению и обработке данных уже не могут удовлетворить растущие потребности бизнеса и пользователей. Именно в этот момент на сцену выходит Apache Ignite — высокопроизводительная, распределенная платформа для вычислений в памяти. Рассказывает Александр Столяров, ведущий программист компании Comindware.

Читать далее

Ближайшие события

Введение в Cloud native. Часть 1. Определение и модель облачных вычислений

Время на прочтение5 мин
Охват и читатели11K

Широкое распространение облачных технологий привело к появлению парадигмы в разработке, внедрения и обслуживании компьютерных систем. Наиболее закрепившееся название этой парадигмы - "Cloud native".

Читать далее

Почему большие языковые модели [пока] глупее, чем кажутся

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели8.3K

Возможности LLM (large language models) вызывают растущий интерес со стороны разработчиков, исследователей и обывателей. Нейросети имитируют человеческую речь, могут поддержать диалог и написать текст на заданную тему. Однако с расширением спектра возможностей и применений интеллектуальных систем увеличивается и простор для некорректного использования результатов их работы. Становится сложнее понять, когда нейросеть генерирует не совсем точный ответ, и оценить риски для рабочих задач в той или иной отрасли. Поговорим о том, насколько серьезна проблема и что с ней можно сделать.

Читать далее

«Квантовые облака»: как VK Cloud и разработчики делают квантовые вычисления ближе к бизнесу

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели3.2K


Есть целый спектр задач, прежде всего промышленных, которые невозможно решить с помощью простых компьютеров. Суперкомпьютеры часто тоже оказываются бессильны из-за фундаментальных ограничений классической модели вычислений. Кроме того, решение многих задач становится экономически неоправданным из-за высокой стоимости суперкомпьютерной инфраструктуры. Поэтому у производственников и крупного бизнеса есть большой спрос на инструменты, которые могут проводить вычисления «за гранью» классических возможностей. В этом помогают квантовые процессоры и их эмуляторы.
Читать дальше →

Перфоманс гипервизоров 1 и 2 типа

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели7.1K

Пример методики сравнения производительности гипервизоров 1 и 2 типа и неожиданные выводы, которые были получены опытным путем.

Читать далее

Автомасштабирование приложения под нагрузкой, развернутого в Yandex Managed Service for Kubernetes

Уровень сложностиСредний
Время на прочтение11 мин
Охват и читатели5.4K

Всем привет! Я работаю Dev-Ops инженером в небольшой команде и мы уже 4-ый месяц используем Yandex Cloud для наших сервисов. Так сложилось, что с Kubernetes и облачными вычислениями я столкнулся впервые, поэтому многое приходится изучать на ходу, иногда на "горьком" опыте. На данный момент наши микросервисы развернуты в зональном кластере Kubernetes с одним рабочим узлом, по одной реплике на каждый Deployment. Это означает, что никакой отказоустойчивости и масштабируемости нет и при малейшей нагрузке приложения упадут.

Поэтому, пока нагрузка идет только от команды разработчиков, я решил заранее побеспокоиться об отказоустойчивости наших сервисов, развернутых в Yandex Managed Service for Kubernetes. Сегодня я разверну на своем облаке Kubernetes кластер и покажу как будет вести себя автомасштабируемое приложение под нагрузкой. Для управления инфраструктурой воспользуемся Terraform, для имитирования нагрузки сервисом Yandex Load Testing (в стадии Preview) от Yandex Cloud.

Го масштабировать!

Деплой приложения с nginx как по нодам

Время на прочтение10 мин
Охват и читатели41K

Привет, Хабр! В этом материале мы разберем деплой приложения на React, арендуем облачный сервер и настроим nginx. Здесь будет необходимый минимум для фронтенд-разработчика:

  • Заливка проекта на GitHub.
  • Аренда и настройка облачного сервера по SSH.
  • Настройка nginx для раздачи статических файлов.
  • Сжатие бандла.
  • Подключение домена.
  • Настройка HTTPS.
  • Настройка Docker.

Для этого материала также доступна видеоверсия.
Читать дальше →

Дайджест статей про YDB

Уровень сложностиПростой
Время на прочтение2 мин
Охват и читатели1.9K

Статьи про YDB публиковались на Хабре ещё до выхода в open source, а отдельным блогом мы обзавелись всего несколько недель назад. В связи с этим проведём небольшую ретроспективу — что пишут про YDB в других хабах.

Читать далее