Базы данных *

«Слово о нагрузочном тестировании: курс на успешную миграцию»

📅 13 февраля, 16:00

А как тестируете вы?
📈13 февраля на онлайн-митапе обсудим преимущества и недостатки различных методов проведения нагрузочного тестирования. На примере реального кейса миграции СУБД представим нашу собственную методику оценки производительности информационных систем!

👨‍💻 Спикеры мероприятия:

— Роман Севрук, менеджер по развитию решений СУБД

— Александр Зубков, инженер по автоматизации нагрузочного тестирования

— Алексей Сатин, архитектор инфраструктурных решений

✅ Регистрируйтесь на онлайн-митап, чтобы узнать, как выбрать подходящий способ оценки производительности, минимизировать риски возникновения проблем и оптимизировать расходы на нагрузочное тестирование. 

PGConf.Russia 2025 ждёт доклады

Мы ищем тех, кто горит PostgreSQL так же, как и мы. Если вы администратор баз данных, разработчик, архитектор или DevOps-инженер, и в вашей работе PostgreSQL играет важную роль – нам есть что обсудить.

PGConf.Russia 2025 пройдёт 31 марта – 1 апреля в Центре международной торговли в Москве и онлайн. 

О чём рассказать?

Возможные темы для докладов на PGConf.Russia 2025:  

• Практический опыт администрирования PostgreSQL, оптимизация производительности и автоматизация задач.

• Архитектурные решения для обеспечения отказоустойчивости и масштабирования PostgreSQL: резервное копирование, восстановление, кластеризация, шардирование.

• Инструменты и методики эффективной миграции на PostgreSQL с других СУБД или устаревших версий.

• Опыт использования новых возможностей и расширений PostgreSQL, их применение и перспективы.

Почему сто́ит выступить?

PGConf.Russia 2025 — это:

• Большая аудитория. 1 500+ увлечённых профессионалов, готовых учиться, обмениваться опытом и задавать каверзные вопросы. 

• Признание и уважение. Ваш опыт ценен для сообщества. Выступление на PGConf.Russia – это возможность заявить о себе, повысить профессиональный статус и получить заслуженное признание.

• Бесплатное участие и размещение. Мы ценим вклад спикеров. Для докладчиков участие в конференции и размещение – за наш счёт.

• Возможность влиять на развитие PostgreSQL. Площадка для обсуждения актуальных вопросов, новых разработок и будущего PostgreSQL. Ваш доклад может стать искрой для новых идей и проектов.

Как подать заявку?

До 23 февраля 2025 года зайдите на сайт PGConf.Russia 2025 и нажмите кнопку «Подать доклад». Заполните название и аннотацию доклада, выберите формат, если нужно, оставьте дополнительный комментарий для программного комитета.

Не стесняйтесь подавать заявки, даже если вы никогда раньше не выступали на конференциях. Мы рассмотрим каждую заявку и, при необходимости, поможем улучшить доклад. Главное – интересный опыт и желание делиться знаниями.

Можно ли внести в Реестр отечественного ПО базу данных?

Можно. 

В Реестре уже сейчас содержится несколько десятков самых разнообразных баз данных. Назовем лишь некоторые из них:

• Сметно-нормативная база данных «Нефтехимия» (РЭСНр / ОЕР); 

• База данных характеристик пропантов, флюидов и кислотных составов, применяемых при гидроразрыве пласта;

• База данных «Система нормативно-методологического обеспечения комплекса программ» (БД НМО) комплекса программ в защищенном исполнении «Система полного жизненного цикла изделий «Цифровое предприятие»; 

• База данных «ЖКХ WIZARD»;

• База данных Яндекс.Недвижимость.

А что такое «база данных»?

В самом общем виде база данных — это определенный набор сведений, информации, хранящейся в электронном виде. 

А какие-нибудь требования для включения в Реестр баз данных есть? 

Есть. 

И они имеют как чисто юридический аспект (например, исключительное право на него надо оформить), так и технический. Вы можете предварительно получить свидетельство на свою базу данных в Роспатенте. Сделать это можно здесь. 

А фирмы, которые хотят внести базу данных в Реестр, должны ли соблюдать какие-нибудь обязательные условия? 

Да. Самое основное — корпорация-претендент на включение в Реестр ПО не должна иметь преобладающего иностранного участия. 

Доход от ее IT-деятельности также должен быть от 30%. 

А в чем смысл внесения базы данных в Реестр ПО для бизнеса? 

Главное — фирма, попавшая в этот Реестр, вправе претендовать на налоговые льготы и самые разные преференции при осуществлении своей коммерческой деятельности на территории России.

Внести свою базу данных в Реестр отечественного ПО можно здесь.

В конце прошлого года Группа Arenadata выпустила обновления ряда своих продуктов.

Новые релизы:

• Arenadata DB (ADB) — v6.27.1.59;

• Arenadata DB Backup Manager (ADBM) — v2.3.2;

• Arenadata DB Control (ADBC) — v4.11.0;

• Arenadata Streaming (ADS) — v3.6.2.2.b1;

• Arenadata Catalog (ADC) — v0.8.0;

• Arenadata Cluster Manager (ADCM) — v2.5.0.

Обновления компонентов Arenadata Cluster Manager (ADCM):

• Arenadata Monitoring (ADM) — v4.1.0;

• Arenadata Enterprise Tools (ADET) — v2024121800.

В новых версиях улучшена производительность, исправлены ошибки, добавлен новый функционал и дополнительные возможности.

⛓ Текст обзора и ссылки на полное описание релизов здесь.

Компания «РЕД СОФТ» объявила о выпуске обновления инструмента для работы с базами данных РЕД Эксперт 2024.11. Новая версия включает функциональные улучшения, исправления и новые возможности.

Основные нововведения в РЕД Эксперт 2024.11 включают:

• Добавлен инструмент резервного копирования и восстановления баз данных. Это решение упрощает создание бэкапов и процесс восстановления данных, что критически важно для обеспечения отказоустойчивости;

• Улучшена конфигурация параметров подключения и создание баз данных. Интерфейс стал более интуитивным и функциональным, добавлены новые возможности для экспорта статистики в файлы;

• Обновлено поле для ввода пароля, добавлен ряд улучшений для повышения удобства администраторов.

Также исправлены ошибки, обнаруженные в предыдущих версиях, включая:

• Проблемы с выполнением SQL‑запросов, в том числе запросов EXECUTE BLOCK с параметрами и запросов, начинающихся с комментариев;

• Проблемы, связанные с логами при подключении через SSH‑туннель, редактировании запросов и работе с ER‑диаграммами;

• Ошибки, возникавшие при создании новых подключений и работе с параметрами аутентификации;

• Сбои в обновлении цветовой темы приложения и применении настроек панели инструментов.

В рамках обновления, реализована поддержка генерации скриптов для операций INSERT и UPDATE, что упрощает модификацию данных в таблицах и представлениях.

Полный список изменений доступен на официальном сайте и в репозитории GitHub.

Компания «РЕД СОФТ» выпустила обновление для своей СУБД РЕД База Данных версии 3.0.18 Обновление включает ряд исправлений и улучшений, повышающих стабильность и функциональность.

В СУБД РЕД База Данных версии 3.0.18 внесены следующие исправления:

• устранены редкие случайные сбои в тесте CORE6142 на платформе Windows;

• исправлена проблема изменения типа столбца, влияющего на вычисляемый столбец с представлением;

• проведена очистка кэша метаданных подключения при завершении рабочего потока;

• устранена ошибка доступа к базе данных при запуске утилиты nbackup;

• исправлен неверный код «SQLSTATE» при возникновении ошибок чтения файлового блоба;

• обеспечена совместимость ключа blob утилиты gstat с другими опциями;

• лимиты целочисленных значений конфигурации увеличены до 64битных значений;

• добавлен учет имени базы данных в хэше для агрегатного трейса.

Кроме того, в обновлении добавлены следующие улучшения:

• возможность запроса версии плагина aggtrace через сервисные интерфейсы;

• добавление кумулятивного счетчика производительности в агрегатный трейс;

• кэширование PID процесса в плагине трейса для оптимизации производительности;

• передача сервером Classic сигнала завершения дочерним процессам;

• увеличение таймаута остановки сервиса systemd до 31 минуты;

• повышение лимитов на количество открытых файлов и потоков для сервиса systemd;

• улучшение работы параметра cancel_on_error для двоичного трейса;

• использование абсолютных путей для некоторых системных утилит в конфигурации systemd.

Теперь всем API-токенам можно ограничивать права. На уровне всех проектов сразу, или каких-то конкретных.

Можно выдавать права только на просмотр, на полное управление или полностью закрывать доступ к сервисам.

Это доступно как администраторам, так и доп пользователям — с учетом их собственных прав. При этом админ будет видеть, кто выпустил конкретный токен. А при блокировке доп пользователя автоматически удалятся и все выпущенные им токены.

Выпустить токен с ограничениями → 

Компании «Инферит» (ГК Softline) и «РЕД СОФТ» подтвердили полную совместимость операционной системы (ОС) «МСВСфера Сервер» 9 и системы управления базами данных РЕД База Данных. Проведенное тестирование охватило проверку работоспособности компонентов СУБД РЕД База Данных на платформе «МСВСфера Сервер» 9, включая установку, настройку, администрирование и выполнение операций с базами данных. Результаты испытаний подтверждают корректность работы продуктов и их готовность к применению в промышленных системах с высокими требованиями к безопасности и надежности.

СУБД РЕД База Данных — промышленная российская СУБД, самостоятельно разрабатываемая компанией «РЕД СОФТ». Продукт поддерживается на всех уровнях: от настройки и аудита до сложных изменений кода. СУБД РЕД База Данных зарегистрирована в Реестре российского ПО Минцифры России и сертифицирована по 4 классу защиты ФСТЭК России, что делает ее подходящей для критически важных информационных систем. Продукт соответствует требованиям безопасности к системам управления базами данных согласно приказу ФСТЭК России № 64 от 14 апреля 2023 г.

ОС «МСВСфера Сервер» 9 — российская операционная система на базе ядра Linux, предназначенная для корпоративных информационных систем и обладающая совместимостью с приложениями и сервисами на базе RHEL, CentOS, Oracle Linux и других систем уровня Enterprise Linux. ОС включена в Реестр российского ПО и предназначена для импортозамещения в сфере инфраструктурных решений.

Добавили в панель мониторинг дополнительных метрик для пяти СУБД.

Для MongoDB отображаем количество операций с данными, открытые или доступные соединения. В OpenSearch теперь можно отслеживать задержку и скорость индексации/поиска, в ClickHouse — операции вставки и поиска.

И, наконец, в RabbitMQ выводим на графики количество созданных каналов и активных соединений, а также общее состояние сообщений. А для Kafka пропускную способность и скорость запросов.

Все данные собираем через VictoriaMetrics.

Помониторить свои базы → 

Вышла новая версия Ред Эксперт 2024.10. В обновлении внесены улучшения и исправления, обеспечивающие более удобное взаимодействие с системой.

Основные изменения:

• 5 новых возможностей: вывод статистики по запросам, улучшенные конфигурации и копирование отформатированных значений даты и времени, фиксирование имени таблицы в окнах создания индекса и триггера, а также поддержка португальского языка;

• 24 исправления ошибок: устранены проблемы с SQL выражениями, генерацией запросов и улучшена работа с подключениями;

• 4 изменения в интерфейсе: обновлены названия, улучшено редактирование данных и ограничений таблицы, добавлена проверка актуальности версии.

Ознакомиться с полным списком обновлений сайте или GitHub.

Чем дольше копаю тему статистического анализа производительности СУБД, тем больше удивляюсь - почему никто не занимался/не занимается использованием математических методов в DBA ? Статей и материалов практически - нет. По performance engineering - можно найти, по DBA в общем то тишина.

И это очень странно, ведь математическая статистика именно для этого и предназначена и используется уже сотни лет - анализ результатов наблюдений и экспериментов , поиск и выявление закономерностей, формирование и проверка гипотез о причинах .

Это же так просто и в общем то лежит на поверхности - сделал изменение , собери статистику влияния и оцени характер полученных результатов по совокупности опытов. Нужно подчеркнуть - не картинки, не "кажется" , "наверное" , "скорее всего", "может быть" , а цифры. И цифры взятые не с потолка , а рассчитанные математически. И даже не надо ничего нового придумывать и изобретать - медиана, мода , стандартное отклонение , дисперсия , корреляция - 3й курс КАИ, если не ошибаюсь. Вполне достаточно , для получения объективных результатов анализа, а не гаданий и шаманских танцев с бубнами.

Почему DBA не используют математику ? Риторический вопрос ....

Сентябрь в самом разгаре! Последние теплые дни четвертого месяца лета. То самое время, когда на улице жарко, а в цифровом пространстве всё просто кипит! Сегодня небольшой информационный пост о том, где можно сейчас бесплатно поучиться премудростям BI.

1. Пиксы запустили Цифровой триатлон. Каждую неделю идет трек по одной из платформ. На этой неделе экватор по PIX BI. Много экспертов, много мнений, весь контент очень сильно связан с ex Qlik тусовкой. Клиенты, эксперты, организаторы - все когда то занимались, внедряли, обучали Qlik. Такое импортозамещение даже получается. https://triathlon.pix.ru Информацию кидают в группу в телеге: https://t.me/BI_PIX_Chat Плюс компания анонсировала БЕСПЛАТНУЮ персональную редакцию своей платформы. Надеемся это не разводняк! 

2. Коллеги из Глобайт привезли Азиатский вариант марафона. Ретрит по теме Fine Bi. Вся информационная поддержка идет в группе https://t.me/FineBIChat в разбивке по темам. Много интересного, новые фичи, опыт клиентов. Классика марафонов от Дата Йога.

3. AW запустили на наш взгляд тяжелую, но очень интересную историю для конкретной группы продвинутых аналитиков. Все подробности в группе https://t.me/awcommunity такой марафон, который перетекает в хакатон и заканчивается собственной конференцией в Москве. 

Отличная возможность попробовать три разных блюда, не выходя из дома! Вперед к новым знаниям!

Вышло обновление СУБД Ред База Данных от компании «РЕД СОФТ». Обновление касается рекомендованной сертифицированной версии. СУБД Ред База Данных (Red Database) — это российская промышленная система управления базами данных с открытым кодом, ядром которой выступает СУБД с открытым кодом Firebird.

В список исправлений СУБД Ред База Данных 3.0.17 вошли:

• повреждение памяти в сетевой части сервера;

• создание базы данных в последних версиях 3.X и 5.X медленнее чем в предыдущих релизах;

• неправильная проверка зависимостей при alter column;

• возможность обработки больших (32k+) сообщений в tracemgr;

• ошибка при объявлении процедур внутри процедуры без SET TERM;

• перечитывание конфигурации трейса для сервисов;

• запись ошибки агрегатного трейса в лог, если это возможно;

• запись в логе об остановке сервера при завершении rdbtracemgr;

• редкое падение при завершении rdbtracemgr.

Кроме того, в обновлении была улучшена новая API‑функция для отключения обработчика CTRL+C. Со списком обновлений можно ознакомиться на сайте СУБД Ред База Данных.

5 сентября вышло обновление мультиплатформенного менеджера СУБД Ред База Данных и Firebird от компании «РЕД СОФТ» под названием Ред Эксперт. В обновлении Ред Эксперт 2024.09 исправили ошибки и повысили стабильность работы программы. Всего было внесено 13 улучшений, 31 исправление и 10 нововведений.

Вышло обновление мультиплатформенного менеджера СУБД Ред База Данных и Firebird от компании «РЕД СОФТ» под названием Ред Эксперт. В обновлении Ред Эксперт 2024.09 исправили ошибки и повысили стабильность работы программы. Всего было внесено 13 улучшений, 31 исправление и 10 нововведений.

Среди нововведений были добавлены:

• библиотеки fbclient для RedDatabase с версиями 3, 4 и 5;

• уведомление об ограничении количества возвращаемых записей;

• проверка корректности пути к файлу перед экспортом данных таблицы;

• возможность удаления данных из таблиц мониторинга (MON$...);

• индикаторы подключенных баз данных в поле выбора соединения;

• отображение номеров строк по умолчанию в таблице набора результатов.

Также были внесены следующие улучшения:

• панель инструментов редактора ER‑диаграмм;

• обновлен список баз данных для драйверов JDBC;

• обновлены драйверы Jaybird до версий 4.0.30 и 5.0.18;

• обновлены версии пакетов Java Native Access и Java Native Access Platform и так далее.

Кроме того, были исправлено:

• генерация ER‑диаграмм;

• загрузка ER‑диаграммы из файла;

• NPE при открытии панели «Редактирование функции»;

• выполнение SQL‑скриптов с параметрами;

• выполнение SQL‑скриптов без оператора «SET TERM»;

• активность инструментов OO API в инструменте «Генератор тестовых данных»;

• генерация SQL‑запросов для удаления UDF;

• генерация SQL‑запросов для процедур и функций и многое другое.

Полный список доступен всех изменений можно найти на сайте СУБД РЕД База Данных и на GitHub.

Компании «РЕД СОФТ» и «Анлим‑Софт» провели тестирование совместимости продуктов из своих экосистем. В рамках тестирования система сбора данных с досмотровых комплексов «АРГОС» показала, что стабильно работает с СУБД Ред База Данных, передавая поступающую информацию для обработки, хранения и классификации.

Система «АРГОС» осуществляет сбор и обработку информации со всех типов досмотровых комплексов. Решение позволяет консолидировано собирать и хранить информацию о триггерных событиях (срабатываниях), обрабатывать их и связывать с фото и видеофрагментами для более быстрой идентификации потенциального нарушителя. Система прошла обязательную сертификацию в рамках Постановления Правительства № 969 от 26.09.2016 «Об утверждении требований к функциональным свойствам технических средств обеспечения транспортной безопасности и Правил обязательной сертификации технических средств обеспечения транспортной безопасности».

СУБД Ред База Данных обеспечивает стабильную и наглядную работу с данными, поступающими от системы «АРГОС». Безопасность СУБД от компании «РЕД СОФТ» подтверждена сертификатом соответствия № 2729 ФСТЭК России: решение полностью соответствует новым Требованиям по безопасности информации к системам управления базами данных, утвержденных приказом ФСТЭК России № 64 от 14 апреля 2023г., по 4 классу защиты. Решение можно применять в инфраструктурах с повышенными требованиями к информационной безопасности, а также использовать для хранения и обработки персональных данных.

Обновился драйвер поддержки Django 5.0 для Firebird и СУБД Ред База Данных. Теперь пользователям СУБД Ред База Данных и Firebird доступен фреймворк Django 5.0. Это актуальная версия фреймворка, важными особенностями которой являются:

• поддержка Python 3.10, 3.11, и 3.12;

• возможность указывать вычисляемые значения по умолчанию, используя свойство db_default для Field;

• поддержка функции GeneratedField для генерации данных в полях базы;

• возможность использования асинхронных методов как для Client, так и для AsyncClient.

Список изменений для драйвера django‑firebird:

• добавлена поддержка Django 5.0;

• добавлена поддержка частичных индексов;

• добавлена поддержка оконных функций;

• добавлена поддержка TIME WITH TIME ZONE и TIMESTAMP WITH TIME ZONE для TimeField и DateTimeField;

• добавлена поддержка массовой вставки данных (bulk insert);

• обновлен firebird‑driver до версии 1.10.4.

Полный список изменений можно посмотреть на GitHub проекта.

Группа компаний «Гарда» и «РЕД СОФТ» подтвердили совместимость обновленных версий СУБД Ред База Данных и «Гарда DBF». Система «Гарда DBF» стабильно контролирует запросы к системе управления базами данных от «РЕД СОФТ» и защищает чувствительную информацию.

Совместное внедрение СУБД Ред База Данных и «Гарда DBF» поможет компаниям не только выполнять требования регуляторов по защите данных, но и своевременно пресекать возможные утечки по вине недобросовестных сотрудников.

«Гарда DBF» (ранее «Гарда БД») — система для обеспечения безопасности СУБД и независимого аудита операций с базами данных и бизнес‑приложениями. Предназначена для защиты от утечек уничтожения, изменения, копирования информации и несанкционированного ее распространения. «Гарда DBF» ведёт непрерывный мониторинг обращений к ресурсам и в режиме реального времени выявляет подозрительные операции. Зарегистрирована в Едином реестре отечественного ПО. Сертифицирована ФСТЭК России по классу НДВ-4.

СУБД Ред База Данных — промышленная российская система управления базами данных. Команда РЕД СОФТ самостоятельно и независимо развивает продукт и оказывает высококвалифицированную техническую поддержку. Поддержка оказывается на всех уровнях: от настройки, сопровождения и аудита до внесения самых сложных изменений в код СУБД.

В развитии темы

Нагрузочное тестирование СУБД в облачной среде — часть 2. Итоги и результат https://habr.com/p/837462/

Методика проведения нагрузочного тестирования .

Задача

Оценить значение производительности СУБД при постоянной нагрузке, в условиях нестабильной инфраструктуры.

Проблема

На производительность СУБД влияет множество случайных факторов.

Гипотеза

В идеальных условиях, при постоянной нагрузке, значения производительности СУБД должно иметь нормальное распределение.

Из гипотезы следует решение задачи:

1. Из непрерывной серии наблюдений сформировать выборку, максимально удовлетворяющую критерию нормального распределения .

2. Статистические результаты найденной выборки - будут решением задачи.

Дополнение по итогам анализа результатов проведенных экспериментов

В связи с трудоемкостью реализации стандартных статистических тестов Колмогорова -Смирнова и Шапиро –Уилка в PostgreSQL, для практического решения задачи, условия получения результирующей выборки можно сильно упростить.

Достаточно выполнение условия симметричность распределения: Медиана = Мода.

Полученные средние значения ( медиана/моде) производительности будут исходным набором данных.

Для уменьшения объёма выборки , набор данных необходимо отсортировать и отфильтровать по значению дисперсии, исключив результаты выходящие за заданную погрешность измерения.

Полученная совокупность данных и будет статистическим результатом нагрузочного тестирования в облачной среде.

Дополнение

Запускать нагрузку необходимо в течении суток.

19 сентября в московском офисе Ситидрайва пройдет очередной митап на тему «Уникальность работы с Kubernetes» – присоединяйся к нам!

Инженеры из команды Ситидрайва, OKKO и Positive Technologies расскажут об особенностях эксплуатации с использованием Kubernetes: только кейсы из практики и личный опыт. В завершение каждого доклада можно будет задать вопросы и пообщаться со спикерами в неформальной обстановке. А после мероприятия – подкрепиться закусками, погулять по офису и познакомиться друг с другом поближе.

Программа:

18:00-18:30 | Сбор в офисе Ситидрайва, знакомство и Welcome

18:30-19:00 | Доклад «Управление и мониторинг баз данных с помощью k8s»

Спикер: Анатолий Тимченко — Team Lead DBA в Ситидрайве.

19:10-19:40 | Доклад «Talos платформа для k8s в OKKO»

Спикер: Алексей Романов — Lead of Kubernetes в OKKO.

19:40-20:10 | Нетворкинг

20:10-20:40 | Доклад «Kubernetes: master внутри cluster-а»

Спикер: Максим Залысин — Head of DevOps в Positive technologies

20:45-21:15 | Доклад «Переезд монолита с ВМ в k8s»

Спикер: Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.

21:15-22:00 | Нетворкинг

Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.

Всем привет!

Завтра, 22 августа, приглашаем на вебинар, чтобы поговорить про Кафку и научиться разворачивать кластер на своём железе:

«Поднимаем Кафку, не опуская руки. Отказоустойчивый кластер на вашем ПК»

На вебинаре: 

• Расскажем про язык Кафки: топики, партиции, продюсеры-консьюмеры, кластер, ноды. 
• Рассмотрим принципы её работы: как работают очереди сообщений, сколько должно быть консьюмеров для эффективной вычитки, как повысить надёжность кластера с помощью репликации данных.
• И покажем, как развернуть кластер Кафки на своём ПК с 3 нодами, schema-registry и авторизацией.

Обычно в инструкциях кластер из 1 ноды, зукипера и 1 брокера, но это не наш путь. Будем работать с реальными исходными данными, а не на теоретических примерах!

На вебинаре пройдёт и традиционный розыгрыш — один из участников получит бесплатное место на курс «Apache Kafka для разработчиков».

Спикер — Василий Калугин, владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг». 

📌 22 августа в 14:00 мск
📌 Занять место на вебинаре — по ссылке.