Как стать автором
Обновить
33

Облачные вычисления *

Концепция общего доступа к ресурсам

Сначала показывать
Порог рейтинга
Уровень сложности

Как мы в VK Cloud SDN-ы писали

Время на прочтение17 мин
Количество просмотров9.5K


С приходом широкополосного доступа и высоких скоростей мобильного интернета нагрузка на сеть стала одним из ключевых бутылочных горлышек для производительности систем. Сетевые провайдеры столкнулись с необходимостью постоянно увеличивать и оптимизировать сетевую пропускную способность и ёмкость при сохранении прибыли. Попыткой решить эту задачу стала Software Defined Network — концепция выведения сетевых функций из специализированного железа на программный уровень и дальнейшего разделения ответственности на разные слои.
Читать дальше →

Организация GPU-вычислений для машинного обучения в компании: проблемы и трудности

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2.6K

По мере того как компании стремятся использовать возможности искусственного интеллекта, резко возрос спрос на специализированные вычислительные ресурсы, в частности, на графические процессоры (GPU). Графические процессоры раньше ассоциировались в основном с играми и графикой, но теперь стали основой многих операций машинного обучения. 

В данной статье мы рассмотрим значение вычислений на GPU в сфере машинного обучения, ключевую роль ИИ в современном бизнесе и проблемы, с которыми сталкиваются компании при обеспечении эффективности вычислительных ресурсов.

Читать далее

Разбиение файлов Terraform на компонуемые слои

Уровень сложностиСложный
Время на прочтение9 мин
Количество просмотров3K
Terraform позволяет создать облачную инфраструктуру с помощью всего одной команды. Допустим, вы хотите запустить Elasticsearch и Kibana в кластере Kubernetes.

Для этого можно написать несколько файлов .tf и выполнить команду terraform apply для инициализации кластера Kubernetes и развёртывания на нем нескольких подсистем.

image

Теперь предположим, что вам нужны и другие экземпляры стека Elastic, которые можно использовать для демонстрации. В этом случае придется создать новые рабочие пространства Terraform и выполнить terraform apply несколько раз.

Проблема такого подхода заключается в том, что в этом случае придется каждый раз реплицировать всю инфраструктуру. Следовательно, у вас будет несколько кластеров Kubernetes. На запуск каждого кластера уходит не менее 15 минут, а его стоимость на AWS составляет 72 долл. в месяц.

image

Гораздо лучшей альтернативой было бы повторное использование одного кластера Kubernetes и создание на его основе нескольких сред. Таким образом, вы платите за один кластер, и вам не нужно ждать создания нового кластера каждый раз, когда вы создаете новую среду.
Читать дальше →

Большое тестирование российских систем виртуализации. Статья первая, вводная

Время на прочтение9 мин
Количество просмотров26K

Привет, Хабр!

Этой статьей я хочу начать цикл материалов, посвященный отечественным решениям серверной виртуализации. В этой серии я хочу поставить перед собой довольно амбициозную цель — помочь ИТ-специалистам в выборе системы виртуализации за счет прозрачного и всестороннего технического сравнения доступных на рынке продуктов.

Сегодня мы поговорим о том, что вообще происходит в отрасли, обозначим проблемы, с которым сталкиваются заказчики, и посмотрим, что предлагают отечественные вендоры. Поскольку протестировать все имеющиеся на рынке решения достаточно сложно, я предлагаю вам, читателям, выбрать интересующие системы виртуализации с помощью опроса в конце статьи.

Читать далее

Платформа для анализа данных за вечер

Время на прочтение11 мин
Количество просмотров7.8K

Текущее состояние российского рынка аналитических и ML-решений сложно назвать стабильным. Какие-то инструменты более недоступны, а на их место регулярно приходят новые. Причем не только вендорские, но еще и open source, а также облачные сервисы.

Инструменты «из коробки» не всегда подходят для решения всех необходимых задач. Какие-то слишком сложны для базовой аналитики, другие стоят больших денег, третьи заточены под определенный тип данных или более узкие задачи.

Один из набирающих популярность вариантов — собрать собственное решение, можно сказать, небольшую платформу данных. Варианты могут быть разнообразные — от разработки софта до интеграции готовых open source-элементов. Касаться первого варианта сегодня бы не хотелось, а вот второй рассмотрим подробнее.

В статье рассказываем, как всего за час (или почти) подготовить облачное окружение, создать свою небольшую платформу для анализа данных и спарсить весь Hugging Face.
Читать дальше →

Введение в Cloud native. Часть 2. Принципы облачных приложений

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров2.5K

В прошлой первой части мы рассмотрели само понятие Cloud native и модели облачных вычислений. А так же выделили концепцию облачных приложений. В этой части рассмотрим их принципы.

Читать далее

Пять подходов к созданию ad-hoc-датафреймов в PySpark

Время на прочтение7 мин
Количество просмотров2.2K


Дата-инженеры, работающие с PySpark, часто сталкиваются с задачей создать логику обработки данных. Обычно речь идет о тестировании набора классов и функций. Современные платформы данных на основе Spark подчас содержат сотни, а то и тысячи разных модульных тестов, которые помогают командам по работе с данными сохранять целостную базу кода. В ежедневные рабочие задачи дата-инженера входит создание небольших датафреймов, которые используются в модульных тестах как входные и выходные значения.
Читать дальше →

Стайлгайд PySpark: как сделать код элегантным

Время на прочтение4 мин
Количество просмотров3.6K


Команда VK Cloud перевела статью о правилах оформления кода в PySpark. Они не обязательны для исполнения, но помогут сделать ваш код более читабельным и удобным для последующих проверок и изменений.
Читать дальше →

Apache Ignite: как эта технология изменила подход к большим данным в Comindware

Время на прочтение8 мин
Количество просмотров7.6K

Вряд ли можно поспорить сегодня с аргументом, что скорость и эффективность обработки информации стали ключевыми факторами успеха любого цифрового проекта. При этом традиционные подходы к хранению и обработке данных уже не могут удовлетворить растущие потребности бизнеса и пользователей. Именно в этот момент на сцену выходит Apache Ignite — высокопроизводительная, распределенная платформа для вычислений в памяти. Рассказывает Александр Столяров, ведущий программист компании Comindware.

Читать далее

Введение в Cloud native. Часть 1. Определение и модель облачных вычислений

Время на прочтение5 мин
Количество просмотров6K

Широкое распространение облачных технологий привело к появлению парадигмы в разработке, внедрения и обслуживании компьютерных систем. Наиболее закрепившееся название этой парадигмы - "Cloud native".

Читать далее

Почему большие языковые модели [пока] глупее, чем кажутся

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров7.2K

Возможности LLM (large language models) вызывают растущий интерес со стороны разработчиков, исследователей и обывателей. Нейросети имитируют человеческую речь, могут поддержать диалог и написать текст на заданную тему. Однако с расширением спектра возможностей и применений интеллектуальных систем увеличивается и простор для некорректного использования результатов их работы. Становится сложнее понять, когда нейросеть генерирует не совсем точный ответ, и оценить риски для рабочих задач в той или иной отрасли. Поговорим о том, насколько серьезна проблема и что с ней можно сделать.

Читать далее

«Квантовые облака»: как VK Cloud и разработчики делают квантовые вычисления ближе к бизнесу

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров2.4K


Есть целый спектр задач, прежде всего промышленных, которые невозможно решить с помощью простых компьютеров. Суперкомпьютеры часто тоже оказываются бессильны из-за фундаментальных ограничений классической модели вычислений. Кроме того, решение многих задач становится экономически неоправданным из-за высокой стоимости суперкомпьютерной инфраструктуры. Поэтому у производственников и крупного бизнеса есть большой спрос на инструменты, которые могут проводить вычисления «за гранью» классических возможностей. В этом помогают квантовые процессоры и их эмуляторы.
Читать дальше →

Перфоманс гипервизоров 1 и 2 типа

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров4.6K

Пример методики сравнения производительности гипервизоров 1 и 2 типа и неожиданные выводы, которые были получены опытным путем.

Читать далее

Ближайшие события

Автомасштабирование приложения под нагрузкой, развернутого в Yandex Managed Service for Kubernetes

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров3.9K

Всем привет! Я работаю Dev-Ops инженером в небольшой команде и мы уже 4-ый месяц используем Yandex Cloud для наших сервисов. Так сложилось, что с Kubernetes и облачными вычислениями я столкнулся впервые, поэтому многое приходится изучать на ходу, иногда на "горьком" опыте. На данный момент наши микросервисы развернуты в зональном кластере Kubernetes с одним рабочим узлом, по одной реплике на каждый Deployment. Это означает, что никакой отказоустойчивости и масштабируемости нет и при малейшей нагрузке приложения упадут.

Поэтому, пока нагрузка идет только от команды разработчиков, я решил заранее побеспокоиться об отказоустойчивости наших сервисов, развернутых в Yandex Managed Service for Kubernetes. Сегодня я разверну на своем облаке Kubernetes кластер и покажу как будет вести себя автомасштабируемое приложение под нагрузкой. Для управления инфраструктурой воспользуемся Terraform, для имитирования нагрузки сервисом Yandex Load Testing (в стадии Preview) от Yandex Cloud.

Го масштабировать!

Деплой приложения с nginx как по нодам

Время на прочтение10 мин
Количество просмотров26K

Привет, Хабр! В этом материале мы разберем деплой приложения на React, арендуем облачный сервер и настроим nginx. Здесь будет необходимый минимум для фронтенд-разработчика:

  • Заливка проекта на GitHub.
  • Аренда и настройка облачного сервера по SSH.
  • Настройка nginx для раздачи статических файлов.
  • Сжатие бандла.
  • Подключение домена.
  • Настройка HTTPS.
  • Настройка Docker.

Для этого материала также доступна видеоверсия.
Читать дальше →

Дайджест статей про YDB

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров1.7K

Статьи про YDB публиковались на Хабре ещё до выхода в open source, а отдельным блогом мы обзавелись всего несколько недель назад. В связи с этим проведём небольшую ретроспективу — что пишут про YDB в других хабах.

Читать далее

Мультиоблачная архитектура: проблемы и подводные камни

Время на прочтение6 мин
Количество просмотров1.7K

Одновременное использование нескольких облачных провайдеров в одной инфраструктуре — популярная модель, которую в перспективе рассматривают многие крупные компании. В этом посте мы рассмотрим сценарии перехода к мультиоблаку, возможные проблемы и некоторые ошибки, которые можно допустить, если вы всё-таки на это решились.

Читать далее

Как приручить облачного зверя: раскрываем тему FinOps

Время на прочтение10 мин
Количество просмотров3.2K

Закупать серверы или использовать «облако»? Какие риски есть в каждом из этих подходов? Как помирить тех, кто платит по счетам в компании и тех, кто может запустить дорогой ИИ-сервис на десять минут, забыть про него и обеспечить к концу месяца непредвиденные расходы организации? 

Облако даёт компаниям гибкость и мощность, но может легко выйти из-под контроля. Как приручить этого опасного зверя? 

В статье разберём:

Как взять облако под контроль и сделать расходы предсказуемыми.

Как FinOps помогает оптимизировать использование облачных сервисов.

Как избежать типичных ошибок и рисков при внедрении этой практики.

Читать далее

Надежность ВТБ: как мы добились «четырёх девяток» доступности банковских систем

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров6.7K

Привет! Меня зовут Иван Мартинович, я заместитель руководителя департамента поддержки прикладных систем и сервисов — вице-президент в ВТБ. В теперь уже далёком 2019 году мы запустили одну из ключевых программ цифровой трансформации банка, нацеленную на обеспечение надёжности целевых систем. О том, как мы проводили её в разгар пандемии коронавируса и что из этого всего вышло, мне бы и хотелось сегодня рассказать. Добро пожаловать под кат.

Читать далее

Радикальная оптимизация расходов на AWS в пять шагов (мы сэкономили 80%)

Время на прочтение7 мин
Количество просмотров4.6K

Это история о том, как мы сократили расходы на AWS на 80% всего за две недели.

Для разработчиков AWS — это Клондайк возможностей

Начнем с того, что с 2018 года мы полностью перешли на AWS для всех наших проектов, и это действительно стало настоящим спасением. Наша команда полностью удаленная, поэтому владение собственным датацентром в какой-либо точке мира вызывало бы немало сложностей. Гораздо проще и экономичнее арендовать ресурсы у AWS, избегая при этом крупных капиталовложений.

Читать далее