Обновить
140.8

PostgreSQL *

Свободная объектно-реляционная СУБД

Сначала показывать
Порог рейтинга

Нагрузочное тестирование YMatrix

Привет, друзья! Мой коллега Марк, ведущий архитектор GlowByte, поделился в новой статье результатами тестирования YMatrix.

Сразу оговорюсь, что это дополнение к предыдущей статье, для того, чтобы сформировать понимание сравнимости результатов различных форков GreenPlum, поэтому акцентировать внимание будем только на YMatrix. Детали по методике тестирования и как были получены результаты для GP6, GP7 и Cloudberry 1.6, можно прочитать в предыдущей статье по ссылке выше. 

Добро пожаловать в статью! Комментарии приветствуются.

Теги:
+1
Комментарии2

Новый курс «Платформа Tantor 6.x» на «Астра Знания»!

Мы подготовили новый курс «Платформа Tantor 6.х», посвященный новым функциям платформы управления любыми Postgres-like СУБД и возможностям, доступным DBA после выхода обновления. Размещен курс на платформе «Астра Знания». Он сочетает структурированный теоретический материал и практические задания, которые помогают закрепить приобретенные знания и навыки.

В программе:
▪️архитектура Платформы и ее возможности
▪️интеграция и работа со Swagger UI
▪️инструменты мониторинга, конфигурирования и обслуживания PostgreSQL
▪️браузер БД
▪️анонимайзер
▪️работа с уведомлениями

↗️ Программа и регистрация

Теги:
+1
Комментарии0

Приглашаем на вебинар «Платформа Tantor 6.1. Умный центр администрирования СУБД на основе PostgreSQL».

Управляете парком PostgreSQL-совместимых СУБД и хотите сократить рутину и повысить надёжность? 11 декабря в 11:00 наши эксперты представят актуальный релиз Платформы Tantor 6.1. Платформа Tantor — интеллектуальный центр управления базами данных, который берет на себя массу актуальных задач DBA. На вебинаре покажем, как платформа решает ключевые из них:

  • Автоматизация вместо рутины: умные алерты, подсказки и встроенный ИИ-ассистент для помощи в повседневной работе;

  • Безопасность под контролем: централизованный аудит и визуальное управление настройками доступа (pg_hba, pg_ident);

  • Оптимизация «одной кнопкой»: анализ конфигураций, подбор оптимальных настроек под нагрузку и их групповое применение;

  • Всё на виду: наглядная топология кластеров, пространств и тенантов;

  • Лёгкое масштабирование: создание кластеров Tantor XData за пару кликов.

В финале — эксклюзивный анонс: дорожная карта развития Платформы Tantor на 2026 год.

Кому будет полезно: DBA, архитекторам, DevOps-инженерам и руководителям ИТ-направлений, которые работают с БД на основе PostgreSQL.

⏱️ 11 декабря в 11:00.

↗️ Зарегистрироваться на вебинар

Теги:
+1
Комментарии0

Этот пост — необычный. Он не о новом инструменте или результате исследования, а о процессе научной (и околонаучной) работы, ценности peer review, даже в его минимальной форме, и о том, как важно уметь признавать и исправлять ошибки.

Peer review (от англ. peer — «равный, коллега», review — «рецензия») — процесс экспертной оценки научных работ независимыми экспертами из той же области знаний. Эти эксперты (рецензенты) не работают в том же учреждении, что и автор, и не имеют с ним конфликта интересов. Их задача — беспристрастно проанализировать исследование и дать заключение о его качестве.

Всё началось с одного вдумчивого комментария: https://habr.com/ru/articles/973126/comments/#comment_29208416

@khalimonas- спасибо за наводку

В сценарии действительно была допущена методологическая ошибка, которая исказила результаты и, как следствие, выводы.

Научная и исследовательская честность требует исправления ошибок, а не их сокрытия. Поэтому, предприняты следующие шаги:

  1. Статья по эксперименту "Анализ вариантов оптимизации ресурсоёмкого SQL-запроса: Вариант-4 «Временная таблица»" ( https://habr.com/p/972276/ ) - исправлена, эксперимент откорректирован.

  2. Выводы в статье по итогам цикла экспериментов "Итоги анализа вариантов оптимизации ресурсоёмкого SQL-запроса" (https://habr.com/p/973126/) - исправлены. Результат цикла экспериментов - изменен.

  3. Статья "Прогноз vs Реальность: прогноз нейросети «Временная таблица vs CTE в многопользовательской среде PostgreSQL»" - снята с публикации. Статья была построена вокруг вопроса к нейросети, который, как выяснилось, был сформулирован на шатком фундаменте (из-за той самой ошибки в сценарии).Постановка вопроса была признана некорректной, что делает всю статью и ее анализ невалидными. Во избежание распространения ложной информации, статья - удалена. Это более ответственный шаг, чем исправление, так как ее основная предпосылка была ошибочна.

Выводы и благодарность

Этот случай стал для мощным напоминанием о нескольких важных принципах:

  • Ценность открытости. Публикация методологии позволяет сообществу ее проверить.

  • Сила сообщества. Один вдумчивый комментарий может быть ценнее десятков часов самостоятельной работы «в слепую».

  • Процесс важнее результата. Настоящее исследование — это не путь от гипотезы к красивому графику, а итеративный процесс проверки, сомнения и корректировки. Ошибаться — нормально. Гораздо важнее, как ты исправляешь ошибки.

Огромная благодарность @khalimonas  , за потраченное время и внимательность, чтобы указать на неточность.

Этот опыт только укрепил убеждение в важности диалога с техническим сообществом. Я продолжу делиться своими экспериментами, и буду рад любой конструктивной критике, которая помогает приблизиться к более точному пониманию исследуемой темы.

Все указанные выше изменения внесены. Первая статья обновлена, вторая — откорректирована, третья — удалена.

Теги:
+5
Комментарии0

Программа вебинаров на декабрь 🎧

Приглашаем на бесплатные онлайн-встречи с экспертами по безопасности, базам данных и BI в облаке. Подключайтесь и задавайте вопросы в прямом эфире.

Self-hosted vs Managed PostgreSQL: эксплуатация и риски
📆 Когда: 9 декабря в 11:00 мск

Честно сравним два подхода и разберем, с какими сложностями и скрытыми рисками можно столкнуться при переходе с on-premise на Managed PostgreSQL в облаке. И, главное, как их избежать.

Безопасность в облаке: как провайдер и клиент делят зоны ответственности
📆 Когда: 11 декабря в 11:00 мск

Поговорим о разделении ответственности за кибербезопасность между облачным провайдером и клиентом. Расскажем, какие задачи лежат на каждой из сторон и как модель разделенной ответственности помогает избежать инцидентов.

Как запустить BI за день, а не за месяц
📆 Когда: 16 декабря в 11:00 мск

Сложное развертывание, тонкая настройка и постоянная зависимость от IT-специалистов растягивают внедрение бизнес-аналитики. На вебинаре покажем, как развернуть полнофункциональную BI-систему в облаке за день.

До встречи!

Теги:
+1
Комментарии0

«Тантор Лабс» активно поддерживает российское сообщество открытой СУБД PostgreSQL. Наши специалисты уже много раз выступали спикерами на официальных комьюнити-мероприятиях PG BootCamp Russia, проводили лекции и мастер-классы.

Делимся с вами подборкой наших выступлений, темы которых можно условно разделить на несколько ключевых направлений.

Внутренности PostgreSQL и оптимизация ядра — для тех, кто хочет понимать СУБД «под капотом»

Разработка, отладка и расширяемость PostgreSQL

Репликация, кластеры, безопасность и высокая доступность — для тех, кто строит надёжные и отказоустойчивые системы

Инструменты и расширения: все, что помогает улучшать, расширять и автоматизировать работу PostgreSQL

Кстати, на весенний PG BootCamp Russia 2026, который пройдет в Москве, открыт прием заявок на выступления! Это отличный шанс поделиться знаниями с одним из самых сильных профессиональных сообществ.

Теги:
+9
Комментарии0

Продолжается набор на авторизованный курс по СУБД Tantor Postgres!

Авторизованный курс по администрированию СУБД Tantor Postgres будет полезен администраторам БД, DevOps-инженерам, системным аналитикам и разработчикам. Вы получите практические навыки работы с популярной СУБД напрямую от экспертов «Тантор Лабс», безлимитный доступ к тестовому стенду и всем материалам курса, включая записи.

По окончании курса слушатели курса получат удостоверение о повышении квалификации государственного образца.

Содержание курса построено на балансе 50% теории / 50% практики. Проходит курс под наблюдением преподавателя – эксперта«Тантор Лабс».

Курсы пройдут в онлайн-формате:

  • с 8 по 12 декабря в «Сетевой академии Ланит»;

  • с 22 по 26 декабря — в учебном центре «Микротест».

Подробная программа и регистрация на курс в Сетевой Академии «Ланит».

Подробная программа и регистрация на курс в УЦ «Микротест».

 

Теги:
+6
Комментарии0

Блог Tantor на Habr: наша коллекция знаний по Tantor и PostgreSQL для вас 🐘

Друзья, наш блог на Хабре появился полгода назад, и за это время мы опубликовали целую библиотеку материалов. Мы не только пишем код и рассказываем о новинках, но и делимся тем новым, что изучаем и узнаем. Собрали для вас все статьи в тематические подборки:

🧑‍💻 Решение конкретных задач для администраторов БД и DevOps-инженеров

Как мониторить сотни инстансов PostgreSQL и не сойти с ума

Настройка OAuth-авторизации в СУБД Tantor Postgres

Быстрый старт в маскировании данных с pg_anon

Как провести нагрузочное тестирование БД PostgreSQL и ничего не забыть

Кластер Patroni в Docker-контейнерах

Трассировка запросов в Postgres с расширением pg_trace

Логирование (аудит) сессий в PostgreSQL

Тонкости оптимизации для разработчиков и архитекторов БД

Выбор индекса при соединении по нескольким столбцам

Когда может быть полезно семплирование в pg_stat_statements

Работа с временными таблицами в PostgreSQL

Работа с длинными строками в PostgreSQL

Хранение временных данных в PostgreSQL

Экспертный уровень и R&D

Сравнение транзакционных систем Oracle и PostgreSQL (перевод)

wpg_dphyp: учим PostgreSQL соединять таблицы по-другому

Пример создания патча для PostgreSQL

Внутристраничная очистка в индексах PostgreSQL

Ретроспектива: 64-битный счетчик транзакций в PostgreSQL

Для специалистов по 1С

Обзор улучшений для 1С в СУБД Tantor Special Edition 1C 17.6

Обзор улучшений для 1С в СУБД Tantor Special Edition 1C 17.5

Какие темы хотите обсудить в следующих статьях вы? Пишите в комментариях.

Теги:
+4
Комментарии1

Узнавайте новое и бесплатно практикуйтесь в панели управления Selectel

Привет, Хабр! Обычно (хоть и не всегда) по пятницам я приношу подборки полезных материалов для начинающих специалистов. Но в этот раз у меня кое-что новое. Сегодня я расскажу не только о том, что почитать, но и как бесплатно отточить полученные знания, не тратя кровно заработанные на аренду IT-инфраструктуры.

При изучении полезных материалов вы можете запросить промокод на 500 бонусных рублей, чтобы попрактиковаться в панели управления бесплатно. Подробные условия и инструкции по получению бонусов находятся на страницах с подборками статей:

  • Go — практический гайд по работе с Go. С ним вы научитесь писать простые сервисы и использовать этот язык в некоторых рабочих задачах, а еще получите большую подборку материалов для погружения в тему.

  • Python — как настраивать инструменты, работать с базами данных, создавать программы с интерфейсом и использовать Python для парсинга. А еще интересные задачи для практики (вот тут-то точно пригодятся бонусы).

  • Расширения PostgreSQL — самые полезные с объяснением, как применять их без лишней теории.

  • Docker — что такое Docker, как запускать контейнеры, собирать образы и использовать Docker Compose. А еще — чем технология отличается от Kubernetes.

  • Сети — научитесь настраивать базовые сетевые схемы, поднимать выделенные и облачные серверы, разбираться в связанности, публичных IP и облачных маршрутизаторах.

Кстати, все статьи в подборках, как обычно, полностью бесплатны и доступны без регистрации и вот этого всего. Читайте, узнавайте новое и практикуйтесь бесплатно.

Теги:
Всего голосов 4: ↑3 и ↓1+3
Комментарии2

Эта миссия теперь выполнима — импортируем данные из PostgreSQL 💼

Из панели можно запустить автономный импорт данных из любой базы PostgreSQL (как с внешней, так и из нашего облака).

Как переносить: перейти в нужную базу → кнопка ☝️ → ввести креды от базы-источника и выбрать владельца новой базы → done.

👉 Автоматически можно импортировать структуру таблиц, индексы и данные. А пользователей, роли и расширения нужно добавлять уже вручную.

Рубрика вопросы:

1️⃣ Я могу перенести данные между разными версиями PostgreSQL?

➖ Да, но не получится перенести специфичные типы данных.

2️⃣ А могу выбрать уже существующую базу для импорта?

➖ Нет, новая база создается автоматически. Если в панели уже есть база с таким именем, то система выдаст ошибку.

Импортировать базу в пару кликов →

Теги:
Всего голосов 9: ↑9 и ↓0+13
Комментарии0

Расширения PostgreSQL в Amvera Cloud

Работа с векторами, временными рядами и геоданными в PostgreSQL требует специальных расширений. И мы наконец их добавили.

Теперь можно создать кластер с pgVector, PostGis и TimescaleDB. Дополнительно появилась возможность управления локалями и некоторыми другими параметрами.

Подключение расширений PostgreSQL
Подключение расширений PostgreSQL
Теги:
Всего голосов 1: ↑0 и ↓1-1
Комментарии0

Подборка бесплатных обучающих материалов о PostgreSQL

Привет, Хабр! Новая пятница — новая порция обучающих статей. Сегодня собрал публикации, которые помогут тем, кто хочет лучше разобраться в PostgreSQL. По классике: все бесплатно. Чтобы прочитать подборки, даже регистрироваться нигде не нужно. Бонусом в конце поста будет ссылка на курс. Он тоже не стоит ни копейки, но там все же нужно зарегистрироваться. Итак, поехали.

PostgreSQL для новичков

В подборке 14 статей на два с половиной часа чтения. Здесь база: установка и настройка PostgreSQL, нюансы управления, резервного копирования и репликации. Для ленивых — что делать, если администрировать самим БД не хочется.

Средний уровень

В девяти статьях за полтора с небольшим часа рассматриваем настройку PostgreSQL в Docker и для работы с 1С. Вы разберетесь в командах, триггерах, индексах и организации мониторинга.

PostgreSQL на максималках: практикум по расширениям

Пять статей и чуть больше часа на их изучение. Эта подборка — ваш гид по расширениям PostgreSQL: от безопасности и оптимизации до работы с геоданными. Вы познакомитесь со всеми этими pgcrypto, jsquery и т. д., а заодно научитесь применять их без лишней теории.

Бонус. Бесплатный онлайн-курс для новичков «Погружение в PostgreSQL»

В семи уроках вы освоите основы SQL, научитесь создавать и связывать таблицы, выполнять базовые операции с данными. Эти знания станут хорошим стартом для дальнейшего изучения PostgreSQL. Курс подойдет начинающим администраторам баз данных, разработчикам, DevOps-инженерам и аналитикам.

Теги:
Всего голосов 7: ↑7 и ↓0+11
Комментарии0

19 сентября — СУБД-митап Tantor JAM

Митап от разработчика СУБД Tantor Postgres и машин баз данных Tantor XData пройдет в Москве. Это отличный повод встретиться для всех, кто интересуется развитием российских СУБД и будущим сферы управления корпоративными данными.

Регистрация завершена

В программе мероприятия:

  • Стратегия «Тантор Лабс» на 3 года;

  • Новая версия платформы Tantor — ведущего enterprise-решения для администрирования и мониторинга любых БД на основе PostgreSQL;

  • Новинки СУБД Tantor Postgres для более высокой производительности и защищённости данных;

  • Инструментарий для управления интеграциями и загрузкой данных, осуществления миграций с минимумом даунтайма;

  • Особое внимание будет уделено Tantor XData — первой российской машине баз данных от вендора СУБД, созданной для самых сложных промышленных задач, высоконагруженных защищённых систем и крупномасштабной аналитики в стратегически важных отраслях.

Митап пройдет 19 сентября 2025 г. на 40-м этаже башни Mercury Space по адресу: Москва, 1-й Красногвардейский проезд, 15. Регистрация участников стартует в 12.00.

Будем рады видеть вас и ваших коллег!

Теги:
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

Ближайшие события

Вебинар «Low-code разработка на PostgreSQL с XSQUARE»

16 сентября в 17:00 мы проведем вебинар о том, как упростить и ускорить разработку приложений с помощью low-code платформы XSQUARE и PostgreSQL.

Что будет

🔹 Создание приложения за 5 минут.
🔹 Онлайн-таблицы (Google Sheets/Excel) на базе PostgreSQL.
🔹 Превращение PostgreSQL в REST API.
🔹 Импортозамещение Oracle Apex, Forms, MS SQL.

Вебинар будет полезен разработчикам, администраторам и аналитикам.
Участие бесплатное, нужна только регистрация.

🎙 Спикеры

Константин Ващенков (CTO XSQUARE)
Станислав Погоржельский (технологический евангелист VK Cloud)

➜ Зарегистрироваться

Теги:
Рейтинг0
Комментарии0

Как мы выиграли ProcessTech 2025 с проектом TechSupport 360

В начале сентября Блок ИТ Страхового Дома ВСК, получил награду «Лучший пилотный проект» на премии ProcessTech 2025.
Наш проект TechSupport 360 занял первое место в номинации — и мы хотим поделиться, как всего за 4,5 месяца удалось пройти путь от гипотез до результата, который оценили бизнес-заказчики, ИТ-команды и жюри конкурса.

С чего всё началось
В начале 2025 года мы поставили себе задачу: проверить, как технологии Process Mining и BI-аналитики могут изменить работу ИТ-поддержки и эксплуатации.
Так родился пилотный проект TechSupport 360.

Мы сформулировали три гипотезы:

Process Mining для SLA

  • Оцифровать карты ИТ-процессов (каталог — 1432 услуги).

  • Найти избыточные нормативы SLA.

  • Сократить время решения без потери качества.

  • Перезаключить SLA с бизнес-подразделениями на новых условиях.

BI-аналитика метрик

  • Автоматизировать подготовку отчетности по ИТ-поддержке и инфраструктуре.

  • Снять нагрузку с аналитиков.

  • Построить дашборды Proceset, позволяющие искать причины отклонений по принципу «от общего к частному».

Автоматизация KPI

  • Оцифровать и перевести в BI-формат 52 ключевых KPI Центра эксплуатации ИТ.

Как мы это делали
Пилот длился всего четыре с половиной месяца — с января по май 2025 года. За это время удалось пройти полный цикл: от выработки гипотез и технических интеграций до демонстрации результатов топ-менеджменту и бизнес-заказчикам.
В январе команда определила ключевые направления для проверки и закрепила три гипотезы: управление инцидентами, BI-аналитика ИТ-процессов и автоматизация KPI. Параллельно аналитики прошли самообучение работе с инструментами Proceset и настроили интеграции с системами — Jira Service Desk, Zabbix, vROps и внутренними утилитами.
В феврале мы собрали и подготовили массивы данных, разработали техническое задание и методологию для проверки гипотез. Именно на этом этапе началась активная работа с SQL и REST API для подготовки расчетов и моделей.
Март стал переломным месяцем: появились первые результаты по всем трем гипотезам. Карты процессов были построены и согласованы с владельцами, первые BI-дашборды прошли апробацию на рабочих группах, а KPI начали отображаться в автоматическом режиме.
В апреле мы вынесли итоги пилота на обсуждение с бизнес-заказчиками и топ-менеджментом: Proceset показал свою эффективность, а команды получили прозрачный инструмент для поиска узких мест и принятия решений.
Финальной точкой стал май: мы запустили переподписание SLA-соглашений с бизнес-блоками, включили результаты работы в PI-планирование по SAFe и подготовились к выступлению на ProcessTech.

Что получилось

Гипотеза 1. SLA и инциденты

  • Построены карты 1432 процессов.

  • Оптимизированы нормативы SLA в 356 процессах (дельта: от 12 до 2 часов).

  • 100% SLA-соглашений переподписаны с бизнес-блоками.

  • В Proceset разработан калькулятор прогнозных SLA для управления ожиданиями.

Гипотеза 2. BI-аналитика

  • Автоматизированы 105 метрик (75 по ИТ-поддержке, 30 по инфраструктуре).

  • Разработан 21 BI-дашборд.

  • Высвобождено 2048 чел.-часов в год (подготовка отчетности).

  • В 7 раз ускорено получение данных (с раз в неделю до ежедневного).

  • Review-сессии и рабочие группы теперь проходят без PowerPoint и Excel — сразу в BI.

Гипотеза 3. KPI

  • Автоматизированы 52 KPI Центра эксплуатации ИТ.

  • Высвобождено 315 чел.-часов в год на подготовку.

Почему проект оказался «лучшим пилотом»
Пилот показал, что можно изменить мышление внутри ИТ-команд. Если раньше аналитика процессов велась преимущественно в Excel, то теперь Proceset стал целевым инструментом для review-сессий и планерок. Это не только ускорило работу, но и дало общий язык для обсуждения метрик и показателей. В совокупности эти факторы и сделали TechSupport 360 «лучшим пилотом»!

Для нас эта награда — не финиш, а подтверждение того, что цифровая аналитика ИТ-процессов — рабочий инструмент, который помогает делать сервис для бизнеса быстрее, прозрачнее и удобнее.

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Лутаем Open Source #24. Они наконец-то починили MongoDB! Перенеся его на PostgreSQL...

DocumentDB – БД от Microsoft, которая состоит из 3-х частей:

  1. PG расширение, добавляющее BSON формат (написанный, на С)

  2. CRUD API поверх него (С)

  3. Сервис трансляции Mongo Query в SQL (Rust)

Для кого это?

И вроде как: "PG – классная база, а MongoDB Query + BSON популярные технологии" – и можно было бы поразмышлять чем это круто, но сначала важно ответить на один туманный вопрос: "кому такая БД может быть нужна?"

Классический PG

Сначала рассмотрим кейс, когда мы накладываем DocumentDB на обычный PostgreSQL.

Те, кто используют MongoDB если попробуют переехать на такой сэтап столкутся с тем, что:

  • Там нет шардинга (и насколько бы он не был сложно реализован в MongoDB, он есть и им активно пользуются)

  • Придется использовать двойной тулинг: Compas, чтобы наблюдать за корректностью данных с MongoDB Query, и SQL если надо посмотреть что там внутри

  • MongoDB поддерживает Uncommitted Read и Write Majority, что странно накладывается на PG: если разраб достаточно продвинутый и намеренно использовал Uncommitted, то с PG он потеряет скорость и Availability из-за PG Committed, а если он использовал Write Majority, то PG не совсем дает такую гарантию (обвал диска при WAL репликации – менее надежен, чем Write Majority)

  • А самое главное: когда ты работаешь с MongoDB ты можешь открывать 1000 коннекшенов и он вполне себе все это сожрет, потому что (1) коннекшен это тред, (2) при запросах нет никакой проверки реляционной целостности, да и в целом проверка сильно проще, чем в PG, а значит придется потанцевать с пуллерами и даже менять где-то запросы, чтобы не упасть по скорости

То есть, у mongo-юзеров это заберет все особенные фичи MongoDB и при этом не даст фишки PostgreSQL.

Distributed PG-like

А что, если мы положим DocumentDB на что-нибудь из серии CockroachDB, YugabyteDB, AWS Aurora, Citus или Neon?

Все 3 проблемы решаются:

  • Шардинг из коробки

  • Достаточно высокая скорость записи и чтения

  • Отсутствие проблем с коннектами

В такой ситуации DocumentDB начинает играть новыми красками.

Но если в Neon и Citus (и может YugabyteDB) еще есть шанс добавить текущий DocumentDB BSON плагин, то в для других представителей придется писать его с нуля (причем под каждый свой, потому что они построены каждый на своем KV хранилище).

Переезд в Linux Foundation

А еще они сейчас в процессе переезда из Microsoft в Linux Foundation, из плюсов они будут полностью под MIT лицензией и пейвола, за который будут прятать полезные фичи, из минусов, Microsoft могут и забросить, а никто другой не подхватить.

Итоги

Неоднозначная технология, пока имеет смысл в каких-то тонких кейсах, но в общем и целом, не вижу пока где тут middle-ground, может, вы что-то подскажете?

P.S.

А еще приглашаю вас к обсуждению в свой паблик в телеграмме 🦾 IT-Качалка Давида Шекунца 💪

Теги:
Всего голосов 4: ↑3 и ↓1+4
Комментарии2

Нагрузочное тестирование GP6 vs GP7 vs Cloudberry

Насколько лучше производительность в GP7 и Cloudberry относительно GP6? Насколько стабильно работают GP7 и Cloudberry? Стоит ли мигрировать с GP6 в 2025? И если да, то на что? Ответы на эти вопросы — в партнерском материале по нагрузочному тестированию GreenPlum 6.X, GreenPlum 7.X и Cloudberry ведущего архитектора группы компаний GlowByte Марка Лебедева.

Материал был анонсирован в статье «Тестирование систем и движков массивно-параллельных вычислений. Часть II. TPC-DS» и продолжает серию публикаций о нагрузочных тестированиях технического руководителя решений Data Ocean Nova и Data Ocean Flex Loader Евгения Вилкова.

Теги:
Рейтинг0
Комментарии0

Расширению PostgreSQL Hacker Helper исполнился год.

Это расширение VS Code для разработки исходного кода PostgreSQL. Почти год назад я сделал пост о его создании, а буквально пару дней назад (9 августа) наступил год со дня релиза 1.0.0 версии.

Изначально, это была утилита для динамического вычисления выражений и каста переменных, но спустя время я понял, что не все так просто. Главная загвоздка в том, что существуют типы (если так можно сказать), которые требуют особого обращения.

Самый яркий пример - это List , динамический массив. Что в нем такого особенного? Во-первых, структура данных одна, но внутри себя он хранит (либо-либо) указатель/int/TransactionId/Oid. Во-вторых, его реализация зависит от версии - раньше он был реализован как связный список, а сегодня - это массив.

Еще один занятный пример - Value. Сегодня этой структуры нет, так как она разбилась на отдельные String, Integer, Float, Boolean и BitString (src/include/nodes/value.h). Это также нарушает изначально красивую картину, так как приходится добавлять логику - название структуры не соответствует типу хранимого узла.

За этот год я добавил множество фичей:

  • Рендеринг выражений (переменные, представляющие выражения отображаются выражением, которое они представляют)

  • Отображение содержимого хэш-таблиц

  • Указатели на отношения из переменных типа Relids

  • Форматирование файла с помощью pgindent

  • Бутстраппинг новых расширений (создание шаблонных файлов)

  • Дамп представления узлов в лог или отдельный текстовый файл (через pprint/nodeToString)

Если же говорить о нефункциональных особенностях:

  • Большая расширяемость за счет файла конфигурации

  • Поддержка нескольких расширений отладчиков

  • Тестирование и CI-пайплайн для этого

Больше всего мне запомнилось добавление поддержки отладчика CodeLLDB. Этим я занимался 5 дней с утра до ночи. В то же время и добавил тестирование.

Самое сложное из всего этого - поддержка старых версий PostgreSQL. Для работы расширения я полагаюсь на динамическое вычисление функций в отладчике, но разные мажорные релизы могут ломать бинарную совместимость и некоторые функции могут быть удалены. Уже не помню сколько раз часами искал обходные пути для реализации какой-то функциональности.

Глядя на все это осознаю, что теперь это можно назвать целой IDE для PostgreSQL. Хотя и кажется, что все что можно было написать уже сделано, но постоянно нахожу новые возможности для его развития.

Ссылки: репозиторий и расширение.

P.S. За это время у меня накопилось множество историй о том, как я это расширение писал и с какими проблемами столкнулся. Если интересно почитать об этом - дайте знать!

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Взгляд на BI дашборды PROCESET сквозь призму повседневных задач.

Автор: Алексей Терехин, Центр эксплуатации ИТ, Руководитель направления автоматизации ИТ-процессов, Страховой Дом ВСК

Когда на утренней планёрке перед глазами появляется картинка с ключевыми метриками — понимаешь, как далеко ушла ручная работа с отчётами. BI дашборды PROCESET в нашем Центре эксплуатации ИТ помогают увидеть главные цифры одним взглядом, а ещё — сэкономить время и силы команды. Расскажу, как это работает простыми словами.

Почему дашборд лучше связки Excel-Power Point

Во-первых, он автоматически обновляется и вместо того, чтобы каждый раз готовить свежие данные, дашборд подтягивает новые данные сам — по расписанию. Вы приходите на встречу — и всё уже готово.

К тому же, дашборд позволяет пользователям взаимодействовать с данными в реальном времени, фильтровать и настраивать представление информации по своему усмотрению прямо во время планерки.

Нельзя забывать о возможности дашборда собирать данные “всех мастей” в одном месте: таблицы из базы, CSV файлы и даже ответы от внешнего API — всё конвейером попадает в один экран.

Дополнительным преимуществом является способность анализа больших объемов данных: BI-дашборды PROCESET способны на это, в то время как excel будет испытывать трудности с производительностью.

Если вы ещё не читали, как мы внедряли процессную аналитику загляните в нашу статью.

Как мы это сделали (без сложных терминов)

  1. Собираем данные // Представьте, что ETL — это робот курьер. Он каждый час ездит за нужными таблицами, файлами и ответами от сервисов и привозит их в хранилище.

  2. Готовим и сглаживаем // Робот перебирает свежие цифры, превращает разрозненные форматы в единый вид (например, переводит все даты к одному стилю) и отбрасывает лишнее.

  3. Создаем визуализацию // Каждый дашборд выстраивается по 4-м уровням: панель управления дашбордом; карточки с ключевыми метриками; графики с динамикой метрик по периодам и графики с дополнительной детализацией или группировкой метрик.

  4. Выходим на большие экраны // Дашборд размещен на большом экране в открытом офисе и становится центральном местом, где команда отслеживает ключевые показатели в реальном времени

  5. Разбираем причины // Когда метрика уходит в красную зону, мы переходим в интерактивную версию, которая позволяет исследовать различные аспекты и находить причины отклонений.

Что вы получите в итоге

  • Экономия времени: вместо нескольких часов на подготовку отчётов — пару кликов и готово.

  • Прозрачность: все видят одни и те же цифры, нет разночтений «кто/что/куда внёс».

  • Быстрый анализ: от «почему упал KPI» до «где утечка заявок» — без прыжков между Excel и презентацией.

Пару советов для старта

1. Выберите одну ключевую задачу — например, автоматизацию утреннего отчёта по инцидентам.

2. Настройте расписание — пусть "робот курьер" привозит данные раз в час.

3. Повесьте дашборд на монитор — и посмотрите, как команда сама начинает держать цифры под контролем.

И помните: чтобы узнать, как мы шаг за шагом внедряли эту систему и связали её с процессной аналитикой, обязательно загляните в нашу статью «Синергия Process Mining и BI: как Страховой Дом ВСК строит эко-систему процессной аналитики Proceset в ИТ».

Буду рад вашим вопросам и историям внедрения — пишите в комментариях!

Теги:
Всего голосов 6: ↑5 и ↓1+6
Комментарии1

Выпущена новая версия СУБД Picodata — Picodata 25.3 

Компания Picodata (входит в Группу Arenadata) выпустила новую версию СУБД Picodata — Picodata 25.3. Обновление включает расширенные возможности SQL, механизм автоматического обновления схемы данных, а также повышение стабильности кластера.

Улучшение обратной совместимости

В Picodata 25.3 реализовано автоматическое обновление схемы данных при переходе инстансов на новый релиз Picodata. Этот механизм учитывает сделанные изменения в системных таблицах и сохраняет обратную совместимость при обновлении на следующий релиз СУБД: при переводе кластера на новую версию Picodata необходимые DDL/DML-команды выполнятся без вмешательства администратора, а требуемые в новой схеме внутренние функции также будут созданы автоматически.

Новые возможности SQL

В релиз добавлены новые возможности языка SQL в Picodata, в частности:

  • поддержка NULLS FIRST/LAST при сортировке результатов запроса (ORDER BY);

  • обработка конфликтов при вставке данных в глобальные таблицы (INSERT INTOON CONFLICT DO FAIL/REPLACE/NOTHING);

  • новая встроенная оконная функция LAST_VALUE();

  • оператор % для определения остатка деления по модулю для целых чисел;

  • возможность определения лидера raft-группы через функции pico_raft_leader_id() и pico_raft_leader_uuid();

  • возможность определения версии текущего инстанса с помощью функции version();

  • изменение, связанное с совместимостью: вместо скалярной функции instance_uuid (которая теперь объявлена устаревшей), рекомендуется использовать новую функцию pico_instance_uuid.

Улучшенная совместимость с PostgreSQL

Picodata теперь поддерживает безопасное соединение при обращении к внешнему LDAP-серверу. При подключении через протокол PostgreSQL (например, с помощью клиента psql) с методом аутентификации LDAP можно задействовать TLS-шифрование (при условии, что оно включено на LDAP-сервере). На стороне Picodata для этого потребуется установить значения у трёх переменных окружения. Например:

export TT_LDAP_URL="ldap://127.0.0.1:1389"
export TT_LDAP_DN_FMT='cn=$USER,ou=users,dc=example,dc=org'
export TT_LDAP_ENABLE_TLS=true

Изменение в конфигурации

Добавлен новый параметр instance.pg.advertise — публичный адрес сервера для подключения по протоколу PostgreSQL. По умолчанию, его значение соответствует значению instance.pg.listen. Этот параметр пригодится в ситуации, когда снаружи инстанс доступен по адресу, отличающемуся от адреса во внутренней сети.

Улучшенный веб-интерфейс

Команда Picodata продолжает развивать компонент webui для Picodata. В версии Picodata 25.3 веб-интерфейс не просто выглядит лучше, он также стал удобнее и информативнее:

  • на панели Cluster ID отображается больше полезной информации, включая список включённых плагинов;

  • в области просмотра сведений об инстансе теперь присутствует адрес подключения по протоколу PostgreSQL.

Механизм плагинов

При подключении плагина к кластеру Picodata теперь допускается расхождение минорных версий плагина и инстанса (например, плагин, собранный для версии 25.3.1, будет работать в Picodata 25.3.2).

Полный список нововведений и список исправленных ошибок доступны в документе CHANGELOG.

Роль Picodata для Ansible

Выпущена новая версия роли Picodata для Ansible, которая совместима с Picodata 25.3. Изменения в роли:

  • при сборке информации при сбое (тег crash_dump) можно исключить сборку snap- и xlog-файлов;

  • добавлена возможность выполнять lua-команды на инстансах кластера (тег command);

  • исправлена работа с несколькими плагинами в инвентаризационном файле и ряд прочих ошибок.

Для установки Picodata 25.3 следуйте инструкциям на сайте. Готовые пакеты доступны для следующих дистрибутивов Linux:

  • Astra 1.8

  • Debian 12 (bookworm)

  • RHEL/Rocky 9

  • Fedora 41–42

Инструкции и руководства по установке, использованию и администрированию Picodata размещены на портале документации Picodata.

Теги:
Всего голосов 4: ↑2 и ↓20
Комментарии0

Вклад авторов