Обновить
128K+

Облачные вычисления *

Концепция общего доступа к ресурсам

28,76
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности

Hadoop в Облаке: история миграции сотен петабайт

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели5.6K

Миграция с «железа» в облако в большинстве случаев уже не кажется чем-то сложным или удивительным — тенденция на развертывание решений в облаке общая и устоявшаяся. Но если с переносом в облачную среду небольших ИТ-компонентов все просто, то в случае с глобальными системами на сотни петабайт данных все несколько иначе — такие кейсы встречаются редко. 

Меня зовут Михаил Марюфич. Я руководитель Data Platform в ОК, отвечаю за инфраструктуру для Big Data и машинного обучения. В этой статье я расскажу о нашем опыте переноса Hadoop с Bare Metal в облако: с чего стартовали, какие варианты рассматривали, как выстроили миграцию и с чем сталкивались в процессе.

Читать далее

Опыт масштабирования Kubernetes на 2k узлов и на 400k подов

Уровень сложностиСложный
Время на прочтение8 мин
Охват и читатели14K

Расскажу, как мы в PayPal начинали осваивать Kubernetes. На тот момент большинство наших рабочих нагрузок выполнялось на Apache Mesos, и в рамках этой миграции нам требовалось разобраться с некоторыми аспектами производительности у кластеров, в которых будет работать Kubernetes – с учётом той плоскости управления, что действует в PayPal. Из всех этих аспектов важнее всего было понять, как именно масштабируется платформа, а также выявить, как можно было бы улучшить масштабируемость, настраивая параметры кластера.

Тогда как Apache Mesos может прямо из коробки масштабироваться вплоть до 10 000 узлов, масштабировать Kubernetes непросто. При масштабировании Kubernetes требуется учитывать не только количество узлов и подов, но и ещё некоторые вещи, в частности: сколько ресурсов создано, сколько у нас контейнеров на под, сколько всего сервисов задействовано, а также пропускная способность при развёртывании подов. В этом посте описаны некоторые проблемы, с которыми нам довелось столкнуться при масштабировании, и рассказано, как нам удалось с ними справиться.
Читать дальше →

Тренды облачных технологий в мире и России. Меню на 2024 год

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели4.5K

В декабре мы активно поглощали мандарины и ежегодные прогнозы по облакам. В какой-то момент и того, и другого оказалось слишком много. 

На сегодня мандарины наконец-то закончились, а вот аналитических отчетов стало больше. Мы собрали их, изучили и выделили общие мировые тренды на 2024 год. А на десерт прошлись по российским прогнозам. В этой статье оставили только самое интересное на наш вкус, конечно.

Читать далее

Крупномасштабный стриминг видео с использованием Kubernetes и RabbitMQ

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели16K
Давайте поговорим о тех проблемах, с которыми приходится сталкиваться на сайтах для стримингового видео, и как организовать архитектуру такого сайта, чтобы было проще справляться с нагрузками.

image
Читать дальше →

Генерация ответов с расширенным поиском в техподдержке на основе YandexGPT, ChatGPT

Уровень сложностиСредний
Время на прочтение20 мин
Охват и читатели16K

Статья посвящена рассмотрению процесса создания системы генерации ответов службы технической поддержки. Для этого используется методика с расширенным поиском, известная как Retrieval-Augmented Generation (RAG). Процесс основан на использовании шаблонов и реальных вопросов-ответов техподдержки. В качестве основных инструментов применяются YandexGPT / ChatGPT и ChromaDB.

Читать далее

Serverless в первый раз

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели8.3K

Давно я приглядывался к Serverless технологиям, но все не доходили руки. Как и во многих компаниях, там где я работаю есть строгое разделение на бэкендеров и фронтендеров. Проблемы у этого известные и самая неприятная — надо договариваться, а разработчики далеко не всегда самые общительные люди.

Но однажды все поменялось...

Оверлоад. К чему приводит перегрузка из-за слишком большого трафика

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели4.2K


Народная мудрость гласит: в жизни нужно быть готовым ко всему, в том числе, и к популярности. Впервые я столкнулся с подобной проблемой чуть более 20 лет назад. В начале «нулевых» я запустил небольшой пет-проект на обычном shared-хостинге, и, видимо, он пришелся по душе не только мне самому. Упоминание о моем стартапе попало в популярную рассылку Алекса Экслера, после чего сайт благополучно рухнул под небывалым наплывом посетителей. Тогда я не потерял из-за этого инцидента ничего, кроме килограмма нервных клеток. Прошло почти два десятилетия, но подобное продолжает случаться с завидным постоянством, и крупные компании порой теряют миллионы долларов из-за отказов своих сайтов в результате непросчитанной нагрузки. Вот самые известные и курьезные случаи в этом ряду.
Читать дальше →

Тестируем отечественную систему виртуализации: РЕД Виртуализация

Время на прочтение12 мин
Охват и читатели37K

Привет, Хабр!

Пришло время продолжить сагу об импортозамещении и российской виртуализации. И сегодня я буду разбирать по винтикам РЕД Виртуализацию. В опросе он занял почетное второе место, посмотрим, оправдает ли решение надежды проголосовавших за него читателей.

Читать далее

Особенности национальной виртуализации на SharxBase

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели3.9K

После ухода из России компании VMware и других крупнейших мировых поставщиков решений виртуализации и облачной инфраструктуры, появилась срочная задача найти альтернативу привычным инструментам. В процессе поиска команда Linx исследовала одно из доступных на российском рынке  решений ― программно-аппаратную платформу виртуализации SharxBase. Делимся своими впечатлениями.

Читать далее

Переход на Serverless: как выстроить архитектуру своего приложения

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели3.9K

Как менеджер продукта и один из амбассадоров serverless я регулярно рассказываю о преимуществах этого подхода и показываю, как с помощью бессерверных вычислений повысить эффективность затрат на инфраструктуру. Но как и у любого подхода, у serverless есть свои ограничения, которые важно учесть в своей IT-стратегии.

В этой статье расскажу о затруднениях, с которыми сталкиваются разработчики при переходе на serverless, и покажу, как можно их избежать на уровне архитектуры приложения.

Читать далее

Инсталлируем Sangfor HCI. Часть 2

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели2.3K

Продолжаем изучать Sangfor — азиатскую альтернативу популярным продуктам HCl (Hyper Converged Infrastructure), которые недавно покинули российский рынок.

В этот раз расскажу и покажу все основные моменты развертывания кластера, а также как добавить лицензию, подключить внешнюю СХД и настроить aSAN.

Читать далее

vStack стал спонсором и контрибьютором новой значимой функциональности ZFS: RAIDZ Expansion

Время на прочтение4 мин
Охват и читатели3.4K

Недавно в ZFS появилась новая и очень значимая функциональность RAIDZ  expansion. Задача решалась с 2020 года и vStack принимал в ней весомое участие в качестве контрибьютора и спонсора.

Читать далее

DDoS, китайские ботнеты и клиенты с особыми потребностями. Будни ЦОДов 3data

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели4.3K

Дата-центр — заманчивая цель для кибератак и непростой объект для защиты. Мы решили выяснить, как обеспечивается бесперебойная работа ЦОДов руководителя отдела информационной безопасности 3data Павла Черных, и публикуем его рассказ.

Из него вы узнаете, как выглядят три кита безопасности ЦОД, к каким специфическим инцидентам постоянно готовятся на этих объектах и почему дата-центры привлекают бездомных. А напоследок вы получите несколько практических советов по выбору надежной площадки для размещения своей инфраструктуры.

Читать далее

Ближайшие события

Как Wazuh помог наладить круглосуточный мониторинг и реагирование на ИБ-события

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели39K

Представим ситуацию. Вы хотите выстроить процесс реагирования на ИБ‑инциденты в компании. Для этого нужно вовремя фиксировать атаки на вашу инфраструктуру. Вы решаете собирать логи и мониторить все, до чего можете дотянуться: хосты, межсетевые экраны, антивирусы, пользовательские устройства. Логов много, они разные. В таком объеме данных сложно вычленить что‑то полезное даже самому опытному ИБ‑специалисту. А вам нужно, чтобы в нем могли разобраться дежурные администраторы (первая линия техподдержки), которые знают только базу, но зато на посту 24 на 7. Они должны фиксировать аномалии, реагировать на типовые угрозы по регламенту, а сложные кейсы дальше передавать профильным ИБ‑инженерам для купирования и расследования атак.

Именно с такой задачей мы имели дело, когда решили выстроить такую систему реагирования на ИБ‑угрозы в нашем облаке NGcloud. Меня зовут Иван, я занимаюсь защитой облачной инфраструктуры. Сегодня я расскажу, как мы организовали все вышеперечисленное при помощи Wazuh.

Почему выбрали Wazuh?

Читать далее

Backup and Restore — виртуальные машины в облаках/хостингах

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели17K

Постановка задачи — есть виртуальная машина в облаке — мы хотим решить две задачи:

1. Резервировать ее по расписанию на наш сервер(а), находящиеся под нашим полным контролем.

2. Иметь возможность в любой момент сконвертировать нужную версию из резервной копии в виртуальную машину (в любом формате) и запустить ее на нашем оборудовании (т. е. приземлить виртуальную машину из облака на грешную...).

И так, поехали!

Читать далее

Архитектурные нюансы OpenStack. Базы данных как сервис, реализация Trove

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели4.1K

Привет, Хабр.
Это вторая статья в цикле, в котором мы рассматриваем архитектуру основных сервисов OpenStack. Первая, в которой я рассказывал о Nova и общих паттернах построения платформы, находится здесь. Сегодня погрузимся в детали реализации сервиса DBaaS, который в платформе носит название Trove. Мы посмотрим, как устроены основные компоненты сервиса и их взаимодействие, затронем некоторые особенности реализации механизмов безопасности, а также кратко обсудим особенности code-style.

Читать далее

Как объяснить суть Kubernetes таксисту

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели49K
image

Не так давно я побывала на конференции Kubecon 2023 в Чикаго. Готовясь к конференции, я почитала статьи в блогах, а на самой конференции посетила несколько семинаров для начинающих (в жанре «101»). Но всё равно не могла сказать, что уверенно понимаю эту технологию. Хуже всего прошёл последний день конференции. Я решила добираться в отель на такси и вызвала Uber. И водитель спрашивает: «А о чём была конференция»? Я ему отвечаю: «О Kubernetes». Попыталась объяснить, но почти сразу поняла, что двух слов на эту тему связать не смогу.

Только представьте себе: уезжать с трёхдневной конференции, но быть не в силах рассказать таксисту о той технологии, которая на ней обсуждалась. Фейспалм. Поэтому теперь попытаюсь реабилитироваться и пофантазировать, как следовало бы рассказать о Kubernetes таксисту Uber.
Читать дальше →

Облачная трансформация ИТ инфраструктуры современной компании. Практический опыт Х5 Group

Время на прочтение21 мин
Охват и читатели18K

Привет, меня зовут Максим Осорин, я руковожу Х5 Облаком в Х5 Group. Хочу рассказать про то, как мы трансформируем ИТ инфраструктуру крупнейшего в стране продуктового ритейлера. Зачем это нужно, как мы это делаем, с какими сложностями сталкиваемся и как их преодолеваем.

Данная статья будет полезна руководителям крупных компаний, особенно тех, где развивается культура собственной разработки и создания цифровых сервисов и продуктов, и масштаб деятельности которых насчитывает сотни информационных систем или десятки очень крупных систем. 

Читать далее

Интервью с Натальей Касперской: наказания за утечку данных, риски перехода в облака и open source-решения в госорганах

Уровень сложностиПростой
Время на прочтение10 мин
Охват и читатели8.6K

Это интервью я хотел взять ещё в начале 2023 года на форуме «Магника», но тогда не получилось в силу объективных причин. В конце концов мне предложили посетить BIS Summit — крупное событие в сфере информационной безопасности, где я смогу получить все ответы. Я, не задумываясь, согласился. Из‑за плотного графика мне пришлось испортить обед интервьюируемой, но, на мой взгляд, получился довольно интересный разговор. Представляю вам интервью с президентом группы компаний (ГК) InfoWatch, председателем правления ассоциации разработчиков программных продуктов (АРПП) «Отечественный софт» и сооснователем компании «Лаборатория Касперского» Натальей Ивановной Касперской. Приятного чтения!

Читать далее

Миграция в три шага, волшебные кнопки и обезболивающие

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели2.6K

Мы регулярно рассказываем, как облачный инструментарий помогает оптимизировать хранение данных, ускорить доставку контента, оцифровать рабочие места. Всем этим процессам зачастую предшествует один — миграция инфраструктуры

В 2007 году, как показало исследование Bloor Research, 80% проектов по миграции оканчивалось неудачей, или обходилось куда дороже, чем планировало руководство компании. Спустя 15 лет, по данным Forbes, 64% компаний по-прежнему превышает бюджеты на миграцию, и всего 16% укладываются в спрогнозированные временные рамки.

Может ли на этом фоне провайдер предложить волшебное однокнопочное решение «Мигрировать», которое подарит исключительно позитивный опыт переноса данных? На что обратить внимание, как подойти к задаче — в нашем сегодняшнем материале. 

Читать далее