Администрирование

Блог Tantor на Habr: наша коллекция знаний по Tantor и PostgreSQL для вас 🐘

Друзья, наш блог на Хабре появился полгода назад, и за это время мы опубликовали целую библиотеку материалов. Мы не только пишем код и рассказываем о новинках, но и делимся тем новым, что изучаем и узнаем. Собрали для вас все статьи в тематические подборки:

🧑‍💻 Решение конкретных задач для администраторов БД и DevOps-инженеров

➡Как мониторить сотни инстансов PostgreSQL и не сойти с ума

➡Настройка OAuth-авторизации в СУБД Tantor Postgres

➡Быстрый старт в маскировании данных с pg_anon

➡Как провести нагрузочное тестирование БД PostgreSQL и ничего не забыть

➡Кластер Patroni в Docker-контейнерах

➡Трассировка запросов в Postgres с расширением pg_trace

➡Логирование (аудит) сессий в PostgreSQL

Тонкости оптимизации для разработчиков и архитекторов БД

➡Выбор индекса при соединении по нескольким столбцам

➡Когда может быть полезно семплирование в pg_stat_statements

➡Работа с временными таблицами в PostgreSQL

➡Работа с длинными строками в PostgreSQL

➡Хранение временных данных в PostgreSQL

Экспертный уровень и R&D

➡Сравнение транзакционных систем Oracle и PostgreSQL (перевод)

➡wpg_dphyp: учим PostgreSQL соединять таблицы по-другому

➡Пример создания патча для PostgreSQL

➡Внутристраничная очистка в индексах PostgreSQL

➡ Ретроспектива: 64-битный счетчик транзакций в PostgreSQL

Для специалистов по 1С

➡Обзор улучшений для 1С в СУБД Tantor Special Edition 1C 17.6

➡Обзор улучшений для 1С в СУБД Tantor Special Edition 1C 17.5

Какие темы хотите обсудить в следующих статьях вы? Пишите в комментариях.

В Рег.облаке появился образ сервера с JupyterHub

В каталог образов Рег.облака добавили еще одну опцию — облачный сервер с предустановленным JupyterHub, готовым решением для командной работы с Jupyter Notebook.

JupyterHub — многопользовательская платформа, которая позволяет управлять сессиями, пользователями и вычислительными ресурсами.
Каждый участник команды получает изолированное рабочее пространство, где можно писать код, анализировать данные и обучать ML-модели.

Зачем это нужно

JupyterHub — готовая среда для аналитиков и разработчиков ML. Теперь при создании виртуального сервера достаточно выбрать образ — и через пару минут можно писать код, запускать системы и обучать модели. Решение подойдет тем, кто работает с большими данными, обучает ML-модели или управляет командами аналитиков.

Основные возможности:

• управление пользователями и ролями;

• изолированные сессии для каждого участника;

• поддержка Python, R и Julia;

• доступ к консоли и файловой системе;

• интеграция с Git, CI/CD, S3-хранилищами и базами данных;

• настройка авторизации через OAuth и LDAP;

• масштабирование и подключение внешних вычислительных ядер.

Как начать работу

1. Закажите облачный сервер с образом JupyterHub в панели управления Рег.облака в JupiterHub.

2. После запуска сервера на контактный e-mail придет письмо со ссылкой и данными для авторизации.

Протестировать обновление можно уже сейчас в личном кабинете Рег.облака.

Представлена подборка Awesome Privacy из 100 сервисов-аналогов всем популярным платформам, но с упором на безопасность и приватность данных, включая файловые менеджеры, облачные хранилища и клавиатуры.

Приглашаем на вебинар «JSON по стандарту SQL. Работа со слабоструктурированными данными в реляционной СУБД»

На встрече рассмотрим практический пример автоматизации загрузки и анализа данных. Особое внимание уделим следующим аспектам:

— эффективная обработка JSON-данных с использованием стандарта SQL
— построение аналитических отчетов на основе JSON-источников
— обеспечение целостности данных при массовой обработке

В ходе презентации будут представлены результаты тестирования:

— девятикратное ускорение загрузки и обработки данных с 40 с до 4.5 секунд
— возможность повышения эффективности ежедневных операций
— ускорение получения актуальной аналитики

Дата и время: 27.11 в 14:00, по ссылке

Ждем всех заинтересованных специалистов для профессионального обсуждения.

Как научить команды экономить IT-бюджет: 3 рабочих совета

Хотите довести финдира до нервного срыва? Просто не отключайте на выходные тестовые инстансы, а еще лучше – разверните staging на том же железе, что продакшен. А когда счет за облако придет на 800 тысяч вместо 300, спросите: "А при чем тут я?".

Нет, это не вредные советы Г. Остера, это жизнеописание большинства компаний, которые не в курсе культуры разумного потребления ресурсов.

Вот как все исправить (подробности – тут):

Метрики затрат в Grafana. Если стоимость работы кластера отображается рядом с загрузкой CPU и потреблением памяти, разработчик реально видит, что во что обходится. Случился скачок расходов на графике — значит, надо разбираться. Только на этом можно сэкономить 20-30%.

Калькулятор стоимости в PR. Штуки типа Infracost смотрят на изменения в инфраструктурном коде и прямо в Pull Request пишут, во что это выльется. Так можно отсекать слишком дорогие вещи еще на этапе ревью.

Собственный бюджет команды. Если бюджет превратился из общего в индивидуальный, пространства для маневра станет меньше, но и от халатного отношения к деньгам придется отказаться. Ведь если финансы закончатся — разработка встанет. Когда понимаешь, что лично отвечаешь за перерасход, начинаешь мыслить иначе. Для начала хватит простых showback-отчетов: сколько потратили, сколько планировали, где можно ужаться.

Есть что рассказать? Станьте голосом комьюнити и делитесь с участниками своими кейсами в сообществе. Там много интересного.

Промокоды, Тирексы и мерч Selectel для самых внимательных

Легко находите ошибки в коде и от вас не ускользнет ни один баг? Тогда приглашаем принять участие в нашем расследовании с 24 по 28 ноября🔎 

Мы спрячем пять кодов на пяти разных страницах и будем открывать по одной каждый день. Найдите хотя бы один код, чтобы участвовать в розыгрыше призов. А если отыщете все пять, сможете побороться за суперприз! 

Чтобы было еще интереснее, на каждой странице дополнительно спрячем промокоды на 500 бонусов в панели Selectel.

Пока есть время, чтобы разбудить своего внутреннего Шерлока, а еще прочитать правила розыгрыша и зарегистрироваться ➡️

Termit с нуля: как развернуть и настроить платформу виртуализации рабочих столов и приложений

Привет, Хабр! Мы не раз отмечали, что одна из ключевых особенностей нашей платформы VDI и терминального доступа Termit — простота запуска. 27 ноября мы проведем live-tutorial о старте работы с Termit, где покажем пошаговый процесс развертывания платформы.

Вместо нескольких часов изучения документации вы сможете посмотреть один вебинар, на котором системный инженер Orion soft в прямом эфире проведет ручное и автоматизированное развертывание платформы виртуализации рабочих столов (VDI) и приложений.

На вебинаре:

• Покажем пошаговый «рецепт» развертывания и настройки Termit за 30 минут

• Поделимся техническими лайфхаками

• Ответим на вопросы о начале работы с Termit

Только у участников вебинара будет возможность получить специальный CookBook с подробной инструкцией по развертыванию Termit, а также шаблоны для автоматического развертывания.

Присоединяйтесь!

Представьте, у вас есть целая компания с несколькими направлениями: техотдел и отдел продаж. Вы хотите, чтобы рассылки и запросы приходили на отдельные почты для каждой команды, чтобы проще управлять и отслеживать их.

И сейчас вы можете создать почту на поддоменах, например:

• test@tech.domain.com — для всего, что связано с техническими вопросами.
• test@sales.domain.com — для коммуникаций с отделом продаж.

Итог: вы легко разделяете рассылки по категориям и избегаете путаницы в почтовом ящике + управляете DNS записями для каждого поддомена.

Настроить для своей почты →

✉️ Кстати, больше об обновлениях в интерфейсе почты читайте в разделе «Новости» вашего почтового ящика.

Как установить и обновить PHP на сервере

Поддерживать актуальную версию PHP важно не только ради новых функций, но и ради безопасности и производительности сайтов.

В базе знаний Рег.облака показали, как установить PHP через терминал или панель ispmanager, проверить текущую версию, переключиться между релизами и устранить проблемы, если скрипты перестали выполняться после обновления.

Простой, но важный гайд. Ищите пошаговую инструкцию на сайте Рег.облака. 

Вышел релиз zVirt 4.5 с возможностью группировки ВМ по вложенным папкам

Привет, Хабр! Мы выпустили крупное обновление нашей системы виртуализации и делимся подробностями о нем. В системе стали доступны возможность группировки виртуальных машин по вложенным папкам, инструмент для быстрой миграции с любых систем виртуализации, написанный «с нуля» Terraform-провайдер, расширенные возможности по управлению программно-определяемыми сетями и катастрофоустойчивостью.

Функция «Папки виртуальных машин» обеспечивает удобный веб-интерфейс для группировки объектов, дает возможность просматривать «дерево» папок, создавать до 15 уровней вложенных папок, перемещать виртуальные машины между папками с помощью перетаскивания мышкой, назначать и отзывать права доступа для объектов в папках, изменять параметры высокой доступности одновременно для нескольких виртуальных машин. 

Другим ключевым обновлением стал v2v-конвертер с возможностью миграции из любых систем управления виртуализацией и с любых облаков. Ранее в zVirt был доступен конвертер виртуальных машин только с VMware. Теперь быстрый перенос возможен и с других решений, как зарубежных, так и российских. Благодаря конвертеру виртуальные машины можно переносить массово, а простой при этом достигает не больше 7-10 минут.

Продолжая уходить от открытых компонентов, мы добавили в zVirt 4.5 Terraform-провайдер, написанный собственными силами команды и не привязанный к Open Source версии для oVirt. Он поддерживает управление виртуальными машинами, дисками, логическими и внешними сетями, маршрутизаторами и политиками микросегментации.

Мы также значительно расширили возможности SDN и DR. Произошло глубокое обновление микросегментации: стали доступны запрещающие правила, пулы IP-адресов, журналирование правил микросегментации, экспорт логических и внешних сетей в несколько дата-центров. В модуле DR появилась поддержка FC-доменов хранения, а также возможность репликации ВМ из нескольких основных дата-центров в один резервный. Обновления расширяют возможности компаний по обеспечению защищенности и катастрофоустойчивости масштабных, в том числе распределенных инфраструктур.

Подробнее расскажем и покажем на вебинаре 13 ноября в 11.00. Присоединяйтесь!

Фишки FinOps Radar: бесплатная платформа, которая помогает экономить в Yandex Cloud

Как говорили в старину, с FinOps Radar и облако милее

Облако – вещь удобная, но непредсказуемая. Особенно, если вести учет расходов по-старинке, в Excel. Таблички, конечно, работают неплохо, но только в железной инфраструктуре. А в облаке без специальных инструментов никак.

FinOps Radar — это первый бесплатный сервис для оптимизации расходов в Yandex Cloud.

Что он умеет:

Обнаружение аномалий. Сервис сравнивает текущие расходы с расходами за последнюю неделю. Если траты выросли больше чем на 5% от среднего, система помечает это цветом. Желтый — рост 5-10%, все что выше – красный. Можно сразу открыть детализацию и понять, какой сервис съел бюджет.

Поиск зомби-ресурсов. Это все то, за что вы платите впустую: забытые инстансы, неприсоединенные диски и т.д. Платформа показывает сумму потенциальной экономии по каждой позиции. 

Автоалерты. Письма об аномалиях приходят в 05:00, о новых рекомендациях — в 09:00. Можно даже выгрузить отчет в Excel и в конце месяца показать начальству, сколько денег сэкономили.

Главное — сервис ничего не трогает в вашей инфраструктуре. Только смотрит и советует. У него даже прав таких нет. Вы даете доступ только для чтения, он собирает данные и показывает проблемы. А как на них реагировать — решаете сами. 

Есть что рассказать? Станьте голосом комьюнити и делитесь с участниками своими кейсами в сообществе.

Как настроить резервное копирование в S3

Автоматизация резервного копирования помогает снизить риск потери данных. Один из простых способов — использовать rclone, утилиту для синхронизации и переноса файлов между локальными системами и хранилищами, совместимыми с S3.

Подготовили подробный гайдлайн, как установить rclone на Windows, подключить S3-хранилище, создать скрипт для копирования бэкапов и добавить его в Планировщик заданий — чтобы резервное копирование выполнялось без участия администратора.

Подробную инструкцию смотрите  в базе знаний Рег.облака.

Присоединяйтесь к вебинару про виртуализацию, контейнеризацию и системы резервного копирования

Завтра, 12 ноября, в 11:00 менеджер продукта и архитектор инфраструктурных решений Deckhouse проводят совместный вебинар с командой «Мобиус Технологии». Со своей стороны представим Deckhouse Virtualization Platform. Расскажем, как платформа помогает решать задачи миграции с монолитов на микросервисы и запускать кластеры Kubernetes как сервис. А ещё проведём демо возможностей DVP в реальной инфраструктуре и разыграем подарки.

Также в программе:

• обзор последних новостей рынка виртуализации и систем резервного копирования;

• знакомство с наиболее зрелыми российскими альтернативами западным платформам;

• кейсы по внедрению серверной виртуализации и виртуализации рабочих мест пользователей.

В конце вебинара будет Q&A-сессия, чтобы ничьи вопросы по теме не остались без ответов. Регистрируйтесь и подключайтесь!

Вебинар | РЕД АДМ: Разбор типовых ошибок. Плейбуки и настройка подсистем

20 ноября, 10:00

Продолжаем серию вебинаров, посвященных эффективному траблшутингу. Третья встреча будет посвящена ошибкам применения конфигураций и настройке подсистем. В том числе подробно рассмотрим работу с пользовательскими плейбуками.

Темы предстоящего вебинара:

Конфигурации
— ошибки в области применения конфигураций
— ошибки при использовании пользовательских плейбуков
— ошибки при использовании конфигураций для внедоменных компьютеров

Подсистемы
— ошибки при настройке DHCP-сервера
— ошибки при настройке PXE-сервера
— ошибки при настройке файлового сервера

Спешите оставить заявку — количество мест в вебинарной комнате ограничено

Зарегистрироваться

Проект открытого загрузчика Gopeed (Go Speed) поддерживает самые популярные протоколы и агрегирует загрузки, включая PDF, аудио, видео, картинки, фильмы, документы и html-файлы. Решение поддерживает многопоточные скачивания и работает с популярными протоколами, например, HTTP, BitTorrent и Magnet. Сборки доступны для Windows, macOS, GNU/Linux, Android, а также есть веб-версия и работа через Docker.

Традиционная инфраструктура или гиперконвергенция? Ждем ваш вердикт!

Выбор стратегии построения ИТ-инфраструктуры — стратегическое решение, которое может определить уровень устойчивости бизнеса на годы вперед.

В новой статье подробно разобрали плюсы и минусы обоих подходов — традиционного и гиперконвергентного — с фокусом на реалии импортозамещения. 

Но сейчас нам интересна ваша точка зрения!

Какой подход к построению ИТ-инфраструктуры вы считаете более перспективным для российского бизнеса на ближайшие 3-5 лет? Кому стоит выбрать гиперконвергенцию, кому больше подойдет нестареющая классика, а кому — гибридный подход?

👉 Посмотреть наши аргументы можно в статье

Ждем ваших комментариев с примерами из практики и кейсами!

Как управлять затратами в облаке: 5 уровней

А вы знали, что почти треть компаний не знает, куда уходят их облачные бюджеты? Нет, они, конечно, получают счета и даже по ним платят. Но почему в прошлом месяце было так, а в этом эдак, и кто в этом виноват – не имеют никакого представления.

Естественно, при таком подходе говорить о какой-либо эффективности не приходится. Потому что если одни экономят, а другие забивают на отключение тестовых сред и гоняют MongoDB там, где хватило бы PostgreSQL, толку не будет. Ведь платить-то все равно из общего котла. 

Проблема решается детализацией:

• Уровень 1 - тот самый общий котел, когда выделяется какая-то сумма, и вся она тратится без отслеживания эффективности. На этом уровне прозрачность находится на нуле.

• Уровень 2 - расходы распределяются по провайдерам. На этом уровне уже видно, что VK Cloud выставил столько-то, Яндекс Облако столько-то. Но почему – пока непонятно.

• Уровень 3 – раскладка по услугам. Compute съедает 60-70%, Storage – 20-30%, трафик – 10-15%. Уже появляется понимание, где самые дорогие компоненты.

• Уровень 4 – тегирование ресурсов. Так будет видно, какая команда тратит больше.

• Уровень 5 – cost-центры с реальными бюджетами. Showback показывает командам траты без списания денег. Chargeback списывает реальные суммы с реальных бюджетов. 

Компании, дошедшие до пятого уровня, экономят 20-30% без потери производительности.

Есть примеры обратного или хотите чем-то поделиться? Станьте голосом комьюнити и делитесь с участниками своими кейсами в сообществе.

Задача про копирование базы данных

Проверьте, как быстро вы справитесь с несложным заданием на логику и математику.

Условие

Компания «Тирекс&Co» очень боялась потерять базу данных с клиентами и закупила для своих задач партию жестких дисков. Теперь раз в день администратор создает копию от каждой актуальной версии БД на любой диск, на котором еще не было бэкапа. То есть каждый день количество копий базы данных увеличивается в два раза. Через неделю они полностью заполнят все жесткие диски.

Задача

За сколько дней заполнятся все свободные жесткие диски, если вместо одной базы данных будет две на разных накопителях?

Делитесь ходом рассуждений и решениями в комментариях. Кстати, подсмотреть их всегда можно в Академии Selectel.

Почему Kyverno и Gatekeeper: рассказываем об инструментах, сравниваем их и решаем, какой удобнее 🔐

Задумываетесь, что лучше выбрать для управления политиками в Kubernetes — Kyverno или Gatekeeper? У нас есть ответ. Приходите на вебинар, где мы поговорим о каждом контроллере, осветим их плюсы и минусы, а еще сценарии, для которых лучше подойдет каждый. Оба инструмента будем разбирать на практике.

О чем расскажем:

• что предлагает рынок для управления политиками в Kubernetes;

• почему выбираем между Kyverno и Gatekeeper, какие у них сильные и слабые стороны;

• под какие задачи лучше подойдет каждый из инструментов, что удобнее в использовании.

Ждем всех, кому интересна безопасность в Kubernetes, в частности DevOps-инженеров, техлидов, директоров по разработке и специалистов по кибербезопасности.

📅 Когда? 13 ноября в 11:00 мск.

📍Где? Онлайн. Зарегистрируйтесь, чтобы обсудить сетевые политики в кубере и задать вопросы экспертам.

FinOps против Excel: кто управляет деньгами в облаке

На первый взгляд кажется, что финконтроль в облаке работает так же, как и раньше. Таблицы, бюджеты, отчеты, всё под контролем. Но стоит заглянуть глубже, и привычные инструменты начинают давать сбой.

Когда инфраструктура была железной, всё было стабильно. Купили сервер, занесли в бухгалтерию, рассчитали амортизацию, и живи спокойно. Расходы предсказуемы, план сбывается, отчеты сходятся.

А потом пришло облако. Сегодня нагрузка почти нулевая, а завтра конкурента блокируют, и трафик у тебя растет в разы. Автоскейлинг добавляет новые инстансы, счёт за неделю превращается в месячный.

CFO смотрит на это и разводит руками. Финансисты видят цифры, но не понимают, почему всё так скачет.

Проблема не в суммах, а в подходе. Старый финконтроль держится на стабильности, а облако живёт по принципу «всё меняется каждую минуту». Любая мелочь в архитектуре мгновенно отражается в P&L, а привычные отчеты не успевают за скоростью изменений.

FinOps меняет этот подход:

• Вместо квартальных отчетов — короткие кост-ревью

• Вместо агрегированных сумм — расходы по командам и проектам

• Вместо запоздалых реакций — наблюдение в реальном времени.

Это уже даже не про “оптимизацию”, а про банальную прозрачность. Или транспарентность. Называйте как хотите.

Главное – что благодаря этому CFO может видеть деньги не в Excel, а прямо в инфраструктуре, и перестает реагировать на факты, а начинает ими реально управлять.

Тут-то баланс и восстанавливается: разработчики понимают цену своего кода, финансисты — динамику расходов, а бухгалтерия наконец перестает удивляться собственным счетам.

Есть что рассказать? Станьте голосом комьюнити и делитесь с участниками своими кейсами в сообществе.