Администрирование баз данных *

Ежемесячный дайджест: новое за март и апрель⛅

☁️ Провели главную IT-конференцию про облачные технологии и искусственный интеллект — GoCloud 2025. А пока мы готовим записи докладов, читайте об итогах конференции и о том, какой простор облачные и AI-технологии могут открыть для ваших IT-проектов в статье.

🦾 Рассказали про новые сервисы на платформе Cloud.ru Evolution. Например, теперь в коммерческом доступе Evolution Managed ArenadataDB — база данных на основе решения с открытым исходным кодом Greenplum, с которой можно хранить и обрабатывать большие объемы структурированных и полуструктурированных данных. Массово-параллельная архитектура (MPP) базы позволяет ускорять обработку данных даже в критически важных системах. 

Подробнее обо всех новых сервисах, а также обновлениях на других наших облачных платформах читайте в дайджесте на сайте.

💼 В кейсе рассказали, как технологии искусственного интеллекта в облаке Cloud.ru помогли подготовиться к выходу на новый рынок Wildberries — самому крупному по обороту маркетплейсу в России.

💸 Перезапустили реферальную программу, чтобы вы могли с большей выгодой рекомендовать сервисы Cloud.ru клиентам, коллегам или друзьям. Теперь можно получить 20% от суммы чеков приведенных пользователей в первый год и 15% — в последующие годы. Регистрируйтесь в программе до 31 мая и приводите новых пользователей в течение трех месяцев. Участвовать могут самозанятые, ИП и юридические лица. Присоединиться.

📺 Провели вебинары, и их можно посмотреть в записи:

• Топ-5 ошибок при миграции в облако и как их избежать

• Охота на ботов: как защитить свои ресурсы и не потерять реальных пользователей

• Маркетплейс Cloud.ru: от идеи до публикации вашего продукта

• Простой запуск ML-моделей в облаке: как сэкономить до 70% ресурсов

А также приглашаем на вебинар: Безопасность контейнеров и Kubernetes от А до Я: как противостоять киберугрозам. На встрече обсудим базовые меры профилактики и защиты от киберрисков на уровне микросервисов, контейнеров и окружений под управлением Kubernetes. 24 апреля в 11:00 мск.

До встречи в майском выпуске!

Хабр, привет!

Завтра, 22 апреля, в 09:00 мск стартует ArenaDAY 2025 — крупнейшая конференция по управлению данными и аналитике. Мы понимаем, что в будний день не у всех получится включить видеотрансляцию, поэтому запускаем текстовую онлайн-трансляцию.

Вас ждёт:

• Шесть тематических секций: «Бизнес-кейсы», «Продукты», «Гибридное хранилище», «Будущее», Data Governance и Investor Day; отдельная демозона с живыми показами решений и экосистемы Arenadata.

• Кейсы от ВТБ, «Газпромнефти», МКБ, «Росатома», «Северстали», «МегаФона» и других лидеров.

• Интерактивы и розыгрыши.

Сохраните этот пост в закладки — ровно в 09:00 здесь появится ссылка на текстовую трансляцию ArenaDAY. До встречи в онлайне!

 Ссылка на трансляцию: https://habr.com/ru/companies/arenadata/articles/902964/

Теперь ваши приложения могут безопасно общаться с другими управляемыми сервисами — например, с базами данных или балансировщиками.

👍 Это самая популярная фича за год. Аж восемь (!!!) идей.

Вот они, вдохновители, слева направо: Nikolai, Константин, Павел, Vladimir, Инкогнито, Михайлович, Ян, Денис.

Пока приватные сети можно добавлять только в новые бэкенд приложения + Docker и Docker Compose. Потом раскатаем на уже созданные аппсы и добавим возможность переноса между сетями.

Заприватить сеть в Apps →

Добавили новые версии баз данных 🐣

Всем приготовиться, целых 3 новых версии баз данных уже в панели. Погнали с обзором:

MySQL 8.4. Тут и повышение производительности, и фиксы багов. А еще улучшения в механизмах репликации.

А для фанатов ClickHouse — х2, сразу два релиза:

➖ 24.8.14 LTS: обновленный тип JSON, механизм обработки таблиц для временных рядов данных, однократная обработка сообщений Kafka и, конечно же, улучшения оператора JOIN. И все в одном флаконе релизе.

➖ 25.1: улучшенные алгоритмы параллельного хэш-соединения, индексы MinMax на уровне таблицы, прокачанные таблицы слияния и функция автоматического увеличения.

Уже сейчас можно бежать в панель и тестить новые версии.

А меня даже и уговаривать не надо, уже ставлю →

Расскажем как эффективно работать с большими таблицами в PostgreSQL и упростить задачи администрирования на онлайн-митапе.

25 марта в 11:00 приглашаем на бесплатный онлайн-митап «PGMeetup: Механизмы секционирования больших таблиц». Это вторая встреча из цикла «Работа с данными в Postgres Pro Enterprise», и она посвящена одной из важных тем для любого DBA, работающего с большими объемами данных – секционированию таблиц.

Чем этот вебинар будет полезен именно администратору баз данных?

• Узнаете, как секционирование позволяет значительно повысить производительность запросов к большим таблицам, разгрузить вашу систему и сделать работу пользователей комфортнее.

• Поймёте, как секционирование облегчает обслуживание больших таблиц, включая резервное копирование, восстановление и реорганизацию данных. Освободите свое время для более важных задач!

• Разберётесь в возможностях секционирования Postgres Pro, включая декларативное секционирование и автоматизацию с помощью pgpro_autopart. Повысьте свою квалификацию и добавьте ценный навык в свой арсенал.

• Получите практические знания о различных вариантах секционирования (hash, range, list), сценариях их применения и ограничениях. Применяйте проверенные решения в своей работе.

• Выясните, как планировщик запросов Postgres Pro взаимодействует с секционированными таблицами, чтобы вы могли максимально эффективно использовать этот механизм.

Митап проведет Владимир Пудовченко, технический консультант Postgres Professional, эксперт с многолетним опытом работы с Postgres Pro. 

Когда: 25 марта в 11:00 (онлайн, участие бесплатное по предварительной регистрации).

Формат: онлайн-трансляция на платформе PGConf (после мероприятия запись будет доступна).

Будет интересно и полезно администраторам баз данных, разработчикам и всем, кто работает с PostgreSQL.

Обновили курс DBA2 «Администрирование PostgreSQL 16. Настройка и мониторинг»

Компания Postgres Professional выпустила обновление курса DBA2 «Администрирование PostgreSQL 16. Настройка и мониторинг». Переработку и актуализацию материалов выполнили специалисты отдела образования Игорь Гнатюк и Илья Баштанов.

Обновлённая версия курса учитывает возможности, появившиеся в PostgreSQL 14, 15 и 16. Ряд тем был переработан, чтобы лучше отражать современные функции и возможности СУБД.

Этот курс – логичное продолжение DBA1. Если вы уже знакомы с основами PostgreSQL и Unix, то DBA2 – это следующий шаг. Он позволяет получить навыки, необходимые для:

• тонкой настройки конфигурационных параметров с пониманием внутренней организации сервера;

• эффективного мониторинга сервера с дальнейшей итеративной настройкой;

• работы с параметрами, связанными с локализацией, управления расширениями и обновления сервера.

Структура курса охватывает широкий спектр тем: от работы с многоверсионностью и механизмами хранения данных до тонкостей журналирования и управления блокировками. Материалы построены так, чтобы теория переходила в практику на каждом этапе, помогая в решении реальных задач.

Чтобы пройти курс самостоятельно, рекомендуем сначала ознакомиться с руководством слушателя, где подробно описаны настройка рабочего места и даны рекомендации по выполнению практических заданий. Вы сможете сразу погрузиться в процесс, не отвлекаясь на подготовительные моменты.

Курс уже находится в свободном доступе:

https://postgrespro.ru/education/courses/DBA2

🚀 Как выжать 1,5 миллиона IOPS из базы данных в облаке? Расскажем на бесплатном вебинаре

Приглашаем DBA-инженеров, системных администраторов, DevOps-инженеров и всех, кого интересует работа с облачными базами данных. На практических кейсах и расчетах покажем, как одновременно в 10 раз увеличить производительность баз данных (до 1,5 млн IOPS) и сократить расходы на инфраструктуру почти вполовину. Регистрируйтесь и подключайтесь из любой точки мира 13 марта в 11:00 (МСК).

Что будет на вебинаре

🔹 Сравним выделенную инфраструктуру с классическим облаком. 

🔹 Расскажем про подбор железа и оптимизацию ОС для максимальной производительности облачных баз данных. 

🔹 Поделимся сравнением производительности баз данных на выделенном облачном сервере с аналогичными сервисами.

🔹 Покажем, как сократить расходы на инфраструктуру для баз данных практически вполовину.

🔹 Ответим на вопросы.

Зарегистрироваться →

Orion soft обновил промышленную СУБД для высоконагруженных систем Proxima DB

Что нового в версии Proxima DB 3.1:

• Мониторинг производительности в UI в режиме реального времени — поможет молниеносно выявлять и проводить траблшутинг зависших запросов, что особенно важно для бизнес-критичных систем

• Proxima DB Advanced — полноценная платформа, которая поддерживает совместимость с СУБД на базе PostgreSQL

• Возможность развернуть СУБД в контейнерной среде «по клику» за секунды из UI — облегчит и ускорит работу с СУБД в компаниях с собственной разработкой 

• Подробнее о новых фичах и исправлениях расскажем на вебинаре 12 марта.

Присоединяйтесь! Регистрация на вебинар — по ссылке.

Также в планах — развивать шардирование, геокластеры и дополнять продукт новыми функциями мониторинга (например, рекомендации по оптимизации производительности, карта фрагментирования объектов, интерактивный мониторинг репликаций, мониторинг шардирования).

Задача об утечке паролей

Задача будет полезна начинающим и опытным специалистам по информационной безопасности, а также всем, кто хочет защитить свои данные.

Условие

В компании «ТехноБезопасность» недавно всплыла неприятная ситуация: один из сотрудников каким-то образом заходит под аккаунтами других пользователей.

Специалист по безопасности Дин Завров начал расследование. Изначально он предполагал, что утечка вызвана атаками XSS или CSRF, но лид фронтенд-разработки заверил: подобные уязвимости исключены. Тогда Дин пошел к бэкенд-разработчикам и девопсам, но и они не смогли помочь. Пришлось ему самостоятельно перебирать все популярные варианты утечки паролей.

Задача

Определите, какими способами внутри компании мог произойти несанкционированный доступ к чужим аккаунтам. Предположения о фронтенд-уязвимостях (XSS/CSRF) исключены.

Важно учесть все варианты, связанные с неправильным хранением паролей, секретов, бэкапов и логов.

Делитесь своими ответами в комментариях. А проверить себя можно в Академии Selectel →

В США нашли получателя пособий возрастом 360 лет и несколько миллионов американцев старше 120 лет, которые также сидят на госвыплатах. Такой список опубликовал Илон Маск. «Возможно, „Сумерки“ реальны, и здесь много вампиров, которые получают социальные пособия», — написал Маск.

Как справиться с 6 500 баз данных 1С?

Администрирование баз данных 1С — задача довольно распространенная. Другое дело, когда в вашей инфраструктуре 6 500 таких баз и 4 000 пользователей. И все это должно быстро и стабильно работать, резервироваться, восстанавливаться и иметь защиту от внешних угроз. С таким запросом в Selectel обратился сервис Альтап.

В кейсе рассказываем, как компания:

• подобрала оптимальные конфигурации выделенных серверов для 1С и баз данных,

• обеспечила надежное хранение резервных копий баз данных,

• защитила сервис от DDoS-атак и других угроз из интернета.

Подробности кейса — в Академии Selectel.

«Слово о нагрузочном тестировании: курс на успешную миграцию»

📅 13 февраля, 16:00

А как тестируете вы?
📈13 февраля на онлайн-митапе обсудим преимущества и недостатки различных методов проведения нагрузочного тестирования. На примере реального кейса миграции СУБД представим нашу собственную методику оценки производительности информационных систем!

👨‍💻 Спикеры мероприятия:

— Роман Севрук, менеджер по развитию решений СУБД

— Александр Зубков, инженер по автоматизации нагрузочного тестирования

— Алексей Сатин, архитектор инфраструктурных решений

✅ Регистрируйтесь на онлайн-митап, чтобы узнать, как выбрать подходящий способ оценки производительности, минимизировать риски возникновения проблем и оптимизировать расходы на нагрузочное тестирование. 

PGConf.Russia 2025 ждёт доклады

Мы ищем тех, кто горит PostgreSQL так же, как и мы. Если вы администратор баз данных, разработчик, архитектор или DevOps-инженер, и в вашей работе PostgreSQL играет важную роль – нам есть что обсудить.

PGConf.Russia 2025 пройдёт 31 марта – 1 апреля в Центре международной торговли в Москве и онлайн. 

О чём рассказать?

Возможные темы для докладов на PGConf.Russia 2025:  

• Практический опыт администрирования PostgreSQL, оптимизация производительности и автоматизация задач.

• Архитектурные решения для обеспечения отказоустойчивости и масштабирования PostgreSQL: резервное копирование, восстановление, кластеризация, шардирование.

• Инструменты и методики эффективной миграции на PostgreSQL с других СУБД или устаревших версий.

• Опыт использования новых возможностей и расширений PostgreSQL, их применение и перспективы.

Почему сто́ит выступить?

PGConf.Russia 2025 — это:

• Большая аудитория. 1 500+ увлечённых профессионалов, готовых учиться, обмениваться опытом и задавать каверзные вопросы. 

• Признание и уважение. Ваш опыт ценен для сообщества. Выступление на PGConf.Russia – это возможность заявить о себе, повысить профессиональный статус и получить заслуженное признание.

• Бесплатное участие и размещение. Мы ценим вклад спикеров. Для докладчиков участие в конференции и размещение – за наш счёт.

• Возможность влиять на развитие PostgreSQL. Площадка для обсуждения актуальных вопросов, новых разработок и будущего PostgreSQL. Ваш доклад может стать искрой для новых идей и проектов.

Как подать заявку?

До 23 февраля 2025 года зайдите на сайт PGConf.Russia 2025 и нажмите кнопку «Подать доклад». Заполните название и аннотацию доклада, выберите формат, если нужно, оставьте дополнительный комментарий для программного комитета.

Не стесняйтесь подавать заявки, даже если вы никогда раньше не выступали на конференциях. Мы рассмотрим каждую заявку и, при необходимости, поможем улучшить доклад. Главное – интересный опыт и желание делиться знаниями.

Можно ли внести в Реестр отечественного ПО базу данных?

Можно. 

В Реестре уже сейчас содержится несколько десятков самых разнообразных баз данных. Назовем лишь некоторые из них:

• Сметно-нормативная база данных «Нефтехимия» (РЭСНр / ОЕР); 

• База данных характеристик пропантов, флюидов и кислотных составов, применяемых при гидроразрыве пласта;

• База данных «Система нормативно-методологического обеспечения комплекса программ» (БД НМО) комплекса программ в защищенном исполнении «Система полного жизненного цикла изделий «Цифровое предприятие»; 

• База данных «ЖКХ WIZARD»;

• База данных Яндекс.Недвижимость.

А что такое «база данных»?

В самом общем виде база данных — это определенный набор сведений, информации, хранящейся в электронном виде. 

А какие-нибудь требования для включения в Реестр баз данных есть? 

Есть. 

И они имеют как чисто юридический аспект (например, исключительное право на него надо оформить), так и технический. Вы можете предварительно получить свидетельство на свою базу данных в Роспатенте. Сделать это можно здесь. 

А фирмы, которые хотят внести базу данных в Реестр, должны ли соблюдать какие-нибудь обязательные условия? 

Да. Самое основное — корпорация-претендент на включение в Реестр ПО не должна иметь преобладающего иностранного участия. 

Доход от ее IT-деятельности также должен быть от 30%. 

А в чем смысл внесения базы данных в Реестр ПО для бизнеса? 

Главное — фирма, попавшая в этот Реестр, вправе претендовать на налоговые льготы и самые разные преференции при осуществлении своей коммерческой деятельности на территории России.

Внести свою базу данных в Реестр отечественного ПО можно здесь.

В конце прошлого года Группа Arenadata выпустила обновления ряда своих продуктов.

Новые релизы:

• Arenadata DB (ADB) — v6.27.1.59;

• Arenadata DB Backup Manager (ADBM) — v2.3.2;

• Arenadata DB Control (ADBC) — v4.11.0;

• Arenadata Streaming (ADS) — v3.6.2.2.b1;

• Arenadata Catalog (ADC) — v0.8.0;

• Arenadata Cluster Manager (ADCM) — v2.5.0.

Обновления компонентов Arenadata Cluster Manager (ADCM):

• Arenadata Monitoring (ADM) — v4.1.0;

• Arenadata Enterprise Tools (ADET) — v2024121800.

В новых версиях улучшена производительность, исправлены ошибки, добавлен новый функционал и дополнительные возможности.

⛓ Текст обзора и ссылки на полное описание релизов здесь.

Компания «РЕД СОФТ» объявила о выпуске обновления инструмента для работы с базами данных РЕД Эксперт 2024.11. Новая версия включает функциональные улучшения, исправления и новые возможности.

Основные нововведения в РЕД Эксперт 2024.11 включают:

• Добавлен инструмент резервного копирования и восстановления баз данных. Это решение упрощает создание бэкапов и процесс восстановления данных, что критически важно для обеспечения отказоустойчивости;

• Улучшена конфигурация параметров подключения и создание баз данных. Интерфейс стал более интуитивным и функциональным, добавлены новые возможности для экспорта статистики в файлы;

• Обновлено поле для ввода пароля, добавлен ряд улучшений для повышения удобства администраторов.

Также исправлены ошибки, обнаруженные в предыдущих версиях, включая:

• Проблемы с выполнением SQL‑запросов, в том числе запросов EXECUTE BLOCK с параметрами и запросов, начинающихся с комментариев;

• Проблемы, связанные с логами при подключении через SSH‑туннель, редактировании запросов и работе с ER‑диаграммами;

• Ошибки, возникавшие при создании новых подключений и работе с параметрами аутентификации;

• Сбои в обновлении цветовой темы приложения и применении настроек панели инструментов.

В рамках обновления, реализована поддержка генерации скриптов для операций INSERT и UPDATE, что упрощает модификацию данных в таблицах и представлениях.

Полный список изменений доступен на официальном сайте и в репозитории GitHub.

Компания «РЕД СОФТ» выпустила обновление для своей СУБД РЕД База Данных версии 3.0.18 Обновление включает ряд исправлений и улучшений, повышающих стабильность и функциональность.

В СУБД РЕД База Данных версии 3.0.18 внесены следующие исправления:

• устранены редкие случайные сбои в тесте CORE6142 на платформе Windows;

• исправлена проблема изменения типа столбца, влияющего на вычисляемый столбец с представлением;

• проведена очистка кэша метаданных подключения при завершении рабочего потока;

• устранена ошибка доступа к базе данных при запуске утилиты nbackup;

• исправлен неверный код «SQLSTATE» при возникновении ошибок чтения файлового блоба;

• обеспечена совместимость ключа blob утилиты gstat с другими опциями;

• лимиты целочисленных значений конфигурации увеличены до 64битных значений;

• добавлен учет имени базы данных в хэше для агрегатного трейса.

Кроме того, в обновлении добавлены следующие улучшения:

• возможность запроса версии плагина aggtrace через сервисные интерфейсы;

• добавление кумулятивного счетчика производительности в агрегатный трейс;

• кэширование PID процесса в плагине трейса для оптимизации производительности;

• передача сервером Classic сигнала завершения дочерним процессам;

• увеличение таймаута остановки сервиса systemd до 31 минуты;

• повышение лимитов на количество открытых файлов и потоков для сервиса systemd;

• улучшение работы параметра cancel_on_error для двоичного трейса;

• использование абсолютных путей для некоторых системных утилит в конфигурации systemd.

Теперь всем API-токенам можно ограничивать права. На уровне всех проектов сразу, или каких-то конкретных.

Можно выдавать права только на просмотр, на полное управление или полностью закрывать доступ к сервисам.

Это доступно как администраторам, так и доп пользователям — с учетом их собственных прав. При этом админ будет видеть, кто выпустил конкретный токен. А при блокировке доп пользователя автоматически удалятся и все выпущенные им токены.

Выпустить токен с ограничениями → 

Компании «Инферит» (ГК Softline) и «РЕД СОФТ» подтвердили полную совместимость операционной системы (ОС) «МСВСфера Сервер» 9 и системы управления базами данных РЕД База Данных. Проведенное тестирование охватило проверку работоспособности компонентов СУБД РЕД База Данных на платформе «МСВСфера Сервер» 9, включая установку, настройку, администрирование и выполнение операций с базами данных. Результаты испытаний подтверждают корректность работы продуктов и их готовность к применению в промышленных системах с высокими требованиями к безопасности и надежности.

СУБД РЕД База Данных — промышленная российская СУБД, самостоятельно разрабатываемая компанией «РЕД СОФТ». Продукт поддерживается на всех уровнях: от настройки и аудита до сложных изменений кода. СУБД РЕД База Данных зарегистрирована в Реестре российского ПО Минцифры России и сертифицирована по 4 классу защиты ФСТЭК России, что делает ее подходящей для критически важных информационных систем. Продукт соответствует требованиям безопасности к системам управления базами данных согласно приказу ФСТЭК России № 64 от 14 апреля 2023 г.

ОС «МСВСфера Сервер» 9 — российская операционная система на базе ядра Linux, предназначенная для корпоративных информационных систем и обладающая совместимостью с приложениями и сервисами на базе RHEL, CentOS, Oracle Linux и других систем уровня Enterprise Linux. ОС включена в Реестр российского ПО и предназначена для импортозамещения в сфере инфраструктурных решений.

Добавили в панель мониторинг дополнительных метрик для пяти СУБД.

Для MongoDB отображаем количество операций с данными, открытые или доступные соединения. В OpenSearch теперь можно отслеживать задержку и скорость индексации/поиска, в ClickHouse — операции вставки и поиска.

И, наконец, в RabbitMQ выводим на графики количество созданных каналов и активных соединений, а также общее состояние сообщений. А для Kafka пропускную способность и скорость запросов.

Все данные собираем через VictoriaMetrics.

Помониторить свои базы →