Шардирование в базах данных: зачем это нужно

Собрали обзор для тех, кто только начинает работать с базами данных — рассказываем, что такое шардирование и как этот способ решает задачи перераспределения нагрузки в БД.

Шардирование (или шардинг) представляет собой метод распределения данных между несколькими отдельными частями — шардами. Такой подход позволяет эффективно распределять нагрузку на систему, быстро масштабироваться и повышать отказоустойчивость системы.

Как это работает: каждый шард располагается на отдельном сервере или группе серверов, что позволяет выполнять запросы параллельно. Для гарантии отказоустойчивости шардирование обычно комбинируется с репликацией — созданием копий шардов. Без репликации отказ одного из серверов может привести к потере данных или недоступности части системы. При этом шардирование БД не заменяет процессы репликации и партицирования. Основная задача шардинга — разделить общую базу данных на части по определенным критериям.

Читайте подробный гайд по методам распределения данных в базе знаний Облака Рег.ру.

Как использовать датасеты в DataSphere

Как обрабатывать большой объем информации и не потеряться в его хранении? Для нагруженных проектов на помощь приходит DataSphere. Это облачный сервис, который помогает создавать, хранить, обрабатывать и анализировать данные для решения сложных вычислительных задач. В основе DataSphere заложены три ключевых компонента: эффективное управление данными, возможность быстрого масштабирования вычислительных ресурсов и оперативное подключение к облачным хранилищам. Решение интегрируется и с популярными инструментами, типа GitHub и Data Proc.

О том, как датасеты помогают обучать ML-модели и как начать работать с ними в DataSphere читайте в базе знаний Облака Рег.ру. 

В Облаке Рег.ру доступна ОС Astra Linux SE «Смоленск»

В облачной платформе Рег.ру теперь доступна новая редакция отечественной ОС Astra Linux SE «Смоленск» с максимальным набором средств защиты информации. Новое решение позволяет создать безопасную среду и предназначено для работы с данными категории «особой важности». 

Astra Linux SE «Смоленск» представляет собой защищенную ОС, помогающую создать наиболее безопасную и соответствующую законодательным требованиям среду «из коробки». Решение будет полезно как для взаимодействия с корпоративными и государственными IT-ресурсами, так и для всех тех, кто работает с конфиденциальными данными.

Внутри новой ОС:

• мандатное управление доступом (МРД) и контроль целостности (МКЦ) — обеспечивают контроль действий пользователей на уровне процессов и файлов;

• замкнутая программная среда (ЗПС) — допускает запуск только верифицированного ПО;

• защита от угроз «нулевого дня» — для мандатного контроля целостности критичных файлов.

Заказать и потестировать Astra Linux SE «Смоленск» можно в личном кабинете облачной платформы Рег.ру.

MLOps или как облегчить выполнение задач Data Science и ML-разработки

Собрали подробный обзор MLOps (Machine Learning Operations) и рассказали, как организовать машинное обучение. С помощью этого подхода можно развертывать и поддерживать ML-модели на всех этапах жизненного цикла.

Популяризация практики MLOps началась с Дэвида Скалли — специалиста по машинному обучению в Google. Он стремился ускорить обучение моделей и минимизировать количество ошибок за счет автоматизации процессов. В 2015 году эксперт написал статью «Скрытый технический долг в системах машинного обучения» — это стало первым шагом к разработке нового подхода к ML. Сегодня MLOps полезен для задач, где необходимо проводить прогнозирование:

• настраивать рекомендации в соцсетях и интернет-магазинах;

• генерировать гипотезы;

• разрабатывать игры с несколькими ветками сюжета в зависимости от выбранного варианта;

• наблюдать за компонентами системы для устранения дефектов;

• планировать рабочие процессы и ускорять развертывание.

Для старта работы по методологии MLOps важно выбрать подходящий инструмент. Подробнее об этом и основных процессах подхода рассказали в базе знаний Облака Рег.ру.

Еще больше мощности: в Облаке Рег.ру запускаем высокочастотные серверы в Москве

В Облаке Рег.ру возобновилась возможность аренды высокочастотных серверов в Московском регионе. Ранее услуга была доступна только в локации Санкт-Петербурга. Тарифная линейка будет особенно полезна для работы с масштабируемыми проектами и высоконагруженными приложениями: базы данных, аналитика, 1С-Битрикс, транзакционные системы, а также для задач с низкими задержками: игровые серверы, финансовые транзакции, потоковое видео. 

Под капотом решения:

• процессоры с тактовой частотой 3,2/3,7 ГГц и NVMe диски;

• технология Turbo Boost, которая дает ускорение до 5,1 ГГц.

Ключевые особенности услуги:

• производительность, которая часто требуется для задач с критичной высокой тактовой частотой CPU;

• доступность: чем ближе к московским пользователям, тем ниже пинг.

Подключить обновленную линейку уже можно в личном кабинете облачной платформы Рег.ру.

Как обработать в облаке 350 тысяч электронных писем без падения системы

В Облаке Рег.ру разработали инфраструктурную среду для запуска e-mail сервиса Novomail, созданного в качестве альтернативы ушедшим с российского рынка зарубежных сервисов, таких как MailChimp, GetResponse и SendGrid.

В сутки в облаке обрабатывается более 350 тысяч писем пользователей. В основе: публичное облако и Bare Metal. Архитектура построена на нескольких виртуальных машинах с поддержкой контейнеризации (в том числе Docker), SSD-хранилищ и динамического масштабирования. А также настроены интеграции с системами мониторинга и резервного копирования.

Что реализовано на платформе:

• стабильная среда с уровнем доступности более 99,95 %;

• масштабирование под пиковые нагрузки;

• система резервирования и регулярных снэпшотов;

• повышенный уровень защиты данных;

• централизованный мониторинг системы.

Больше о кейсе — рассказали на сайте.

Дайджест Облака Рег.ру за июнь

Сегодня оглянулись посмотреть на начало лета, чтобы вспомнить знаковые релизы Облака Рег.ру за прошедший месяц. Июнь был для нас особенным — мы отметили два года с момента запуска облачной платформы. Делимся пачкой свежих летних апдейтов, читайте о них в новом дайджесте.

• Добавили новый образ NextCloud 31 + OnlyOffice 5

Прокачали NextCloud — дополнили предустановленным образом с офисными приложениями OnlyOffice для совместной работы. Корпоративное хранилище подходит для работы с любыми документами и файлами. Минимальная конфигурация: 4 vCPU, 16 ГБ RAM, 40 ГБ диска. 

• Повысили лимит на количество баз данных в 100 раз

Усилили сервис DBaaS — теперь можно легко добавлять до 1000 баз. Обновление стало доступно в кластерах PostgreSQL и MySQL. Поработать с новыми базами данных можно в личном кабинете облачной платформы.

• Представили облегченные образы ispmanager

В Облаке Рег.ру доступен новый образ ispmanager mini для быстрого решения несложных задач. Панель управления можно заказать в базовой конфигурации сервера: 1 vCPU, 1 ГБ RAM и 10 ГБ диска. Протестировать обновление можно на трех ОС: AlmaLinux, Debian и Ubuntu.

• Подключили NVIDIA A4000 к облачным серверам с GPU 

Добавили к облачным серверам с GPU новую видеокарту NVIDIA A4000 для решения задач, требующих высокой производительности: от 3D-моделирования и работы в CAD-программах до сложных вычислений и обучения ИИ-моделей. Работают новые GPU по системе Pay-as-you-go. 

• Запустили 1CaaS

Презентовали новый сервис в облаке 1C as a Service. Решение представляет развернутую платформу с кластером 1С и СУБД с опциями администрирования, резервного копирования и мониторинга. Потестировать услугу может любой желающий, оставив заявку на сайте. 

• Развернули в облаке ERP и маркетплейс для 5000 строительных компаний

Рассказали, как с IT-разработчиком Stworka запустили ERP-систему и развернули в облаке маркетплейс для 1,5 млн строительных товаров. Проект включает в себя распределенные облачные серверы, dev- и stage-контуры, виртуальные машины для мониторинга и управления разработкой. 

Так бодро началось лето — планируем сохранять активный темп и в июле, следите за обновлениями!

Как настроить работу Grafana с Zabbix

Собрали подробный гайд для начинающих о Grafana и Zabbix — эффективном комбо для контроля IT-инфраструктуры. Zabbix выступает инструментом для сбора данных, контроля состояния систем и приложений. Grafana же обеспечивает широкие возможности визуализации.

Почему Grafana и Zabbix полезно использовать вместе:

• Grafana отображает данные, которые поступают из Zabbix — отсюда оперативное обнаружение проблем;

• интеграция позволяет создавать кастомизированные дашборды и графики, адаптированные под потребности конкретных команд или проектов, а также упрощает работу с данными и оптимизирует процесс мониторинга;

• можно настроить систему оповещений в Grafana и оперативно реагировать на проблемы;

• объединение мониторинга в единой платформе дает целостное представление об IT-инфраструктуре. 

В базе знаний Облака Рег.ру читайте о подготовке к совместной работе Grafana + Zabbix и смотрите подробную инструкцию по настройке инструментов.

В Облаке Рег.ру добавили управление политиками доступа в S3

В облачной платформе Рег.ру продолжаем развивать возможности объектного хранилища S3. Подготовили новый апдейт — теперь пользователи могут управлять политиками доступа к бакетам. Обновление особенно пригодится для работы с высоконагруженными задачами и над проектами, в которых важны усиленные требования к безопасности.

Ключевые обновления в S3:

• индивидуальные политики для отдельных пользователей и сервисов;

• ролевое управление доступом (с разделением по методам GET/PUT/POST/DELETE);

• шаблоны для быстрой настройки;

• 20+ параметров для тонкой конфигурации.

Новый пакет обновлений в S3 логично дополняет возможность управления ключами доступа, подключенную еще в мае. Напомним, что тогда при работе с S3 пользователям облака стали доступны новые действия: создание, генерация, удаление. 

Попробовать обновленные фичи в S3 уже можно на сайте.

В Рег.ру начали предлагать в аренду серверное оборудование по модели HaaS

В Рег.ру запустили новую услугу аренды серверов по модели HaaS (Hardware as a Service). Теперь пользователи могут по подписке арендовать серверное оборудование и размещать его на собственной территории: в дата-центре или офисе.

Новый сервис снижает затраты на IT-инфраструктуру, ускоряет внедрение технологий и запуск продуктов, упрощает масштабирование. В распоряжение пользователей  предлагаются системы хранения данных, серверы на базе процессоров Intel Xeon и AMD EPYC и сетевое оборудование, оснащенное портами от 1 до 100 Гбит/с.

Кроме того, серверы, размещенные на разных площадках, можно объединить в единую сеть в виде частного облака, распределенного на несколько локаций. Какие готовые конфигурации «железа» уже доступны сейчас для заказа: 

• 2×Xeon Gold 6336Y — 2,40-3,60 ГГц (48 ядер, 96 потоков) и 512 ГБ DDR4 RAM;

• 2×Xeon Gold 6348 — 2,60-3,50 ГГц (56 ядер, 112 потоков) и 256 ГБ DDR4 RAM;

• 2×AMD EPYC 9274F — 4.05-4.3 ГГц (48 ядер, 96 потоков) и 1024 ГБ DDR5 RAM.

А собрать собственные конфигурации и арендовать оборудование также можно, оставив заявку на сайте.

SpaceWeb запустил сервис объектного хранилища S3

В SpaceWeb расширили линейку облачных сервисов и подключили объектное хранилище S3. С новым сервисом можно работать напрямую из кода, CMS или через API. S3 не только хранит данные, но и снижает нагрузку на серверы, сохраняя контроль над данными, а также предлагает:

• возможность шифрования;

• гибкие механизмы управления доступом как на уровне бакетов, так и объектов;

• безопасное хранение информации, независимо от объема данных.

Объектное хранилище S3 поможет, прежде всего, веб-разработчикам, для которых важны вопросы масштабирования и эффективного управления данными без использования сторонней инфраструктуры. Протестировать и заказать новый сервис можно на сайте.

К Облаку Рег.ру подключили новые GPU NVIDIA A4000

В облачную платформу Рег.ру добавили новые GPU NVIDIA A4000. Теперь можно решить еще больше запросов на выгодных условиях: от 3D-моделирования и работы в CAD-программах до сложных вычислений и обучения ИИ-моделей. Облачные серверы с GPU позволяют быстро получать результат без собственного оборудования и работают по системе Pay-as-you-go.

Также напомним, что в Облаке Рег.ру доступны видеокарты NVIDIA: А5000 24Гб и А100 80Гб. Попробовать новые NVIDIA A4000 можно уже на сайте.

В Облаке Рег.ру повысили лимит на количество баз данных — в 100 раз

В Облачной платформе Рег.ру обновили лимит на количество баз данных в кластерах DBaaS: теперь пользователи могут добавлять до 1000 баз. Расширили возможности системы в 100 раз для повышения гибкости и масштабируемости проектов пользователей. 

Мы часто получаем запросы на развитие платформы, и этот релиз — результат обратной связи от наших клиентов. Спасибо вам!

Напомним, что в облаке Рег.ру доступно два вида управляемых БД — PostgreSQL и MySQL. Добавить новые базы данных в существующем кластере можно в личном кабинете, а узнать подробнее про возможности DBaaS — здесь.

В Облаке Рег.ру запустили новую услугу 1С as a Service

К облачной платформе Рег.ру подключили новый облачный сервис для безопасной и стабильной работы 1С — 1СaaS (1C as a Service). Продукт представляет собой готовое к работе решение по модели PaaS с развернутой платформой, кластером 1С, СУБД, администрированием, резервным копированием и постоянным мониторингом.

Возможности 1СaaS:

• полный спектр продуктов 1С в одном комплексном решении;

• стабильность, надежность и высокая производительность;

• помощь в миграции и реализация нестандартных запросов;

• специализированный мониторинг 1С и техническая поддержка.

1CaaS предлагает важный бенефит, которого обычно нет в готовых коробочных решениях — гибкость. Чтобы протестировать сервис, оставьте заявку на сайте.

В Облаке Рег.ру добавили образ NextCloud + OnlyOffice

Запустили удобное корпоративное хранилище для совместной работы с документами в Облаке Рег.ру. Набор офисных приложений OnlyOffice теперь также доступен в облаке — добавили предустановленный образ NextCloud + OnlyOffice. Обновленное облачное решение предлагает универсальную экосистему для совместной работы: 

• NextCloud подходит для хранения любых документов и файлов;

• OnlyOffice позволяет редактировать документы и закрывает большинство стандартных задач пользователей.

Для заказа доступны облачные серверы во всех локациях. Минимальная конфигурация — 4 vCPU, 16 ГБ RAM, 40 ГБ диска. 

Новый образ NextCloud 31 + OnlyOffice 5 уже можно тестировать на нашем сайте.

Сравниваем NoSQL и SQL: что выбрать

Сравнили реляционные СУБД с NoSQL (Not Only SQL) — альтернативными системами хранения и управления данными для лучшей обработки неструктурированной информации. Когда при работе с хаотичными данными мощности традиционных СУБД уже не хватает, такая альтернатива может быть разумной заменой.

Сопоставили отличительные черты NoSQL и SQL, и вот что получилось:

Подробный обзор NoSQL, особенности их использования, типичные сценарии и наглядные кейсы в рабочих проектах смотрите в базе знаний Облака Рег.ру.

GPU vs CPU: как устроены процессоры

Собрали подробный гайд для новичков о процессорах CPU и GPU: что под капотом, чем отличаются и для каких задач подходят. Каждый эффективен при выполнении предназначенных для них задач, однако специфика существенно отличается.

CPU (Central Processing Unit) — это центральный процессор, отвечающий за все функциональные задачи: управление операционной системой, операции с данными, регулирование доступами к ресурсам, общие вычисления и многие другие. CPU выполняет действия по строгому алгоритму и состоит из трех последовательных действий: получение команды от оперативной памяти (ОЗУ), перевод команды в машинный код, выполнение команды.

GPU (Graphics Processing Unit) — это графический процессор, который предназначен для выполнения ресурсоемких операций и задач без задействования центрального процессора. Существует два основных типа: интегрированный и дискретный. Обычно когда для текущих задач мощности обычного процессора не хватает, в дело вступает GPU, инструмент отлично справляется с обработкой Big Data, рендерингом и обучением AI-моделей. 

Подробнее об архитектуре процессов и для чего CPU и GPU используются на практике читайте в базе знаний Облака Рег.ру.

SpaceWeb подключил Kubernetes к партнерской программе

Добавили Kubernetes к партнерской программе SpaceWeb для веб-мастеров. Теперь участникам будет начисляться 20% вознаграждения за каждого привлеченного пользователя, подключившего облачную услугу.

Сегодня партнерская программа SpaceWeb предлагает партнерам до 48% вознаграждения от стоимости хостинга за каждого вовлеченного клиента. Сейчас же программа расширена и для облачных услуг: Kubernetes, DBaaS, облачные бэкапы и балансировщик. 

Всем участникам «партнерки» доступен моментальный вывод средств и заключение партнерства без бумажных носителей, а партнерский статус может получить любой желающий. Напомним, что партнерская программа SpaceWeb существует уже более 10 лет. Запартнериться можно здесь.

В Облаке Рег.ру появились облегченные образы ispmanager

На облачной платформе Рег.ру оптимизируем и прокачиваем работу ispmanager. Свежий апдейт — добавили облегченные образы. Теперь можно заказать панель управления в базовой конфигурации сервера: 1 vCPU, 1 ГБ RAM и 10 ГБ диска. Обновление доступно на ОС: AlmaLinux, Debian и Ubuntu.

Образ ispmanager Mini идет с ограниченным набором ПО и подойдет для быстрого решения несложных задач.

Напомним, что можно заказать сервер с уже установленным ispmanager, оплата происходит по часам, а не месяцам. Лицензия панели управления также оплачивается на почасовой основе.

Как развернуть в облаке ERP и маркетплейс для 5000 строительных компаний

Рабочие задачи бывают разные: настроить CI/CD, провести рефакторинг кода или развернуть маркетплейс для 1,5 млн товаров на отказоустойчивой инфраструктуре — как раз последним кейсом стал совместный проект команд Облака Рег.ру и IT-разработчика Stworka. 

С компанией Stworka мы сотрудничаем уже 6 лет — и сегодня продолжаем строить проект вместе. На старте нам нужно было помочь запустить ERP-систему и сократить time-to-market для запуска платформы. Облачная инфраструктура включает в себя распределенные облачные серверы, dev- и stage-контуры, виртуальные машины для мониторинга и управления разработкой. Для хранения и обработки больших объемов информации обеспечили проект отказоустойчивой базой данных. 

Что внутри системы: NVMe-диски и контейнерная архитектура с Docker. Отдельные виртуальные машины развернули для инстанта GitLab и Grafana. Сбор метрик клиент настроил через Prometheus.

Что реализовано на платформе: 

• стабильность системы — в 90% случаев время отклика бэкенда ниже 300 мс;

• прайсы и 1,5 млн товаров обрабатываются каждый день за несколько часов;

• отказоустойчивость за счет внедрения автоматического резервного копирования нод.

Больше о кейсе — рассказали на сайте.