Администрирование баз данных

KristinaMyLife 18 января 2019 в 18:24

Как добавить индекс на нагруженной системе 24/7 без простоя?

• Блог компании Отус,
• Microsoft SQL Server,
• Администрирование баз данных

Друзья, в конце января у нас стартует новый курс под названием «MS SQL Server разработчик». В преддверии его запуска мы попросили преподавателя курса, Кристину Кучерову, подготовить авторскую статью. Эта статья будет вам полезна, если у вас есть очень популярная таблица на проде с доступом 24/7 и вдруг неожиданно вы поняли, что срочно нужно добавить индекс и ничего не сломать в процессе.

Итак, что же делать? Традиционный способ CREATE INDEX WITH (ONLINE = ON) вам не подходит, потому что, например, вызывает падение системы и сердечный приступ вашего ДБА, все топы пристально следят за response time вашей системы и в случае увеличения оного приходят к вам и вашему ДБА на разговор по поводу завышенных цифр вашей компенсации за труд.

Скрипты и описанные приёмы были использованы на системе с нагрузкой 400К requests per minute, версии SQL Server 2012 и 2016 (Enterprise).

Есть два очень разных подхода создания индекса, которые используются в зависимости от размера таблицы.

Кейс № 1. Маленькая, но очень популярная таблица

Таблица 50 тыс. записей (небольшая), но очень популярная (несколько тысяч обращений в минуту). Вам нужен новый индекс и минимальное время простоя и блокировок на таблице.
В приложении весь доступ к БД только через процедуры.

При ошибке приложение сделает повторную попытку обратится к таблице.

Читать дальше →

eapotapov 17 января 2019 в 09:33

Миграция с Mongo на Postgres: опыт газеты The Guardian

• Блог компании ITSumma,
• MongoDB,
• PostgreSQL,
• Администрирование баз данных,
• Системное администрирование

• Перевод

The Guardian — одна из крупнейших британских газет, она основана в 1821 году. За без малого 200 лет существования архив накопился изрядный. По счастью, далеко не весь он хранится на сайте — всего за какие-то последние пару десятков лет. В базе данных, которую сами англичане назвали «источником истины» для всего онлайн-контента, около 2,3 млн элементов. И в один прекрасный момент они осознали необходимость миграции с Mongo на Postgres SQL — после того, как одним жарким июльским днём в 2015 году процедуры аварийного переключения были подвергнуты суровому испытанию. Миграция заняла без малого 3 года!..

Мы перевели статью, в которой рассказывается, как проходил процесс миграции и с какими сложностями столкнулись администраторы. Процесс долгий, но резюме простое: приступая к большой задаче, смиритесь, что ошибки будут обязательно. Но в конечном итоге, 3 года спустя, британским коллегам удалось отпраздновать окончание миграции. И поспать.

Читать дальше →

Leono 13 января 2019 в 11:00

Изменение схемы таблиц PostgreSQL без долгих блокировок. Лекция Яндекса

• Блог компании Яндекс,
• PostgreSQL,
• Администрирование баз данных

In-memory базы данных: применение, масштабирование и важные дополнения

• Блог компании Промсвязьбанк,
• IT-инфраструктура,
• Администрирование баз данных,
• Хранение данных

Мы продолжаем экспериментировать с форматами проведения митапов. Недавно на боксерском ринге мы сталкивали централизованную шину данных и Service Mesh. В этот раз решили попробовать нечто более миролюбивое — StandUp, то бишь открытый микрофон. Темой выбрали in-memory базы данных.



В каких случаях стоит переходить на in-memory? Как и зачем масштабировать? И на что стоит обратить внимание? Ответы в выступлениях спикеров, которые мы осветим в этом посте.

Читать дальше →

Утро админа: добавляем место на десятках серверов за кофе

• Microsoft SQL Server,
• Администрирование баз данных,
• Виртуализация,
• Серверное администрирование

Каждый день мне приходится добавлять место на одном, двух, трех, пяти, а бывает – и десяти database серверах. Почему? Потому что для них характерен естественный рост баз. Серверов сотни, все они виртуалки с дисками на thin provisioning. Если им заранее выдать много места, то будет обязательно какой нибудь “runaway”, типа апгрейда с переливом таблиц, который пожрет все это место, а если не пожрет, то поднадкусает. Как вы знаете, thin provisioning – это путь в одну сторону, если место сожрано, но то его назад не вернуть.

В итоге большинство серверов болтаются где то у границы 90% space used – именно потому, что на границе 90% срабатывает алерт. Как только я даю немного, именно немного места – сервер отправляется в район 80%-85% used, и через месяц другой место надо добавлять снова. И, тем не менее, много сразу давать не буду – слишком много прецедентов с runaways.

Я так часто делал механическую работу по расширению места на дисках, что мне это надоело и я решил это автоматизировать с помощью Jenkins:

Читать дальше →

andreeva_mary_y 27 декабря 2018 в 16:24

Автоматизация процесса контроля качества данных корпоративного хранилища

• Блог компании Ростелеком,
• Oracle,
• SQL,
• Администрирование баз данных,
• Хранение данных

В «Ростелекоме», как и в любой крупной компании, имеется корпоративное хранилище данных (ЦХД). Наше ЦХД постоянно разрастается и расширяется, мы строим на нем полезные витрины, отчеты и кубы данных. В какой-то момент мы столкнулись с тем, что некачественные данные мешают нам при построении витрин, получаемые агрегаты не сходятся с агрегатами систем источников и вызывают непонимание бизнеса. Например, данные с Null значениями в внешних ключах (foreign key) не соединяются с данными других таблиц.
Краткая схема ЦХД:



Мы понимали, что для обеспечения уверенности в качестве данных нам нужен регулярный процесс сверок. Конечно, автоматизированный и позволяющий каждому из технологических уровней быть уверенным в качестве данных и их сходимости, как по вертикали, так и по горизонтали. В итоге мы параллельно рассмотрели три готовые платформы для управления сверками от различных вендоров и написали свою собственную. Делимся опытом в этом посте.

Читать дальше →

Leono 21 декабря 2018 в 10:40

Как без даунтайма масштабировать базы данных в Яндекс.Облаке. Пример с тремя хостами

• Блог компании Яндекс,
• IT-инфраструктура,
• Администрирование баз данных

• Tutorial

SLY_G 21 декабря 2018 в 10:00

Когда интернет-архив забывает

• Администрирование баз данных,
• Законодательство в IT,
• Сетевые технологии

• Перевод

В интернете есть определённые организации, на работу которых мы привыкли ежедневно полагаться в надежде предотвратить превращение правды в эластичную или неопределённую субстанцию. Не обязательно таким методом, к которому стремятся такие глупые проекты, как Verrit, но, по крайней мере, способом, способным подтвердить, что вы не сходите с ума, что старый пост или статья, которую вы вроде бы читали, реально существует. Это может быть такое поверхностное действие, как чтение быстро удалённого твита через кэш Google, или же такое глубокое погружение в контент, как изучение архива ныне почившего сайта через Wayback Machine. Но что произойдёт, если архив становится менее надёжным и по якобы убедительным причинам решает прогнуться и удалить спорный материал, попавший в архив?

Читать дальше →

DoctorX 20 декабря 2018 в 16:01

Оптимизация реляционных баз данных без даунтайма на примере самой нагруженной БД в Badoo

• Блог компании Badoo,
• Администрирование баз данных,
• Высокая производительность,
• Разработка веб-сайтов,
• Серверная оптимизация

В условиях highload сложность оптимизации реляционных баз данных возрастает на порядок, так как покупка ещё более мощного железа обходится дорого а также уже нет возможности просто выключить приложение ночью для долгого процесса альтера БД и миграции данных.

Недавно мы рассказали, как мы оптимизировали PHP-код нашего приложения. Теперь же пришёл черёд статьи про то, как мы полностью изменили внутреннюю структуру самой нагруженной и важной базы данных в Badoo, не потеряв при этом ни одного запроса.

Читать дальше →

MaxRokatansky 13 декабря 2018 в 19:17

Техники Bitmap-индекса Oracle

• Блог компании Отус,
• Oracle,
• SQL,
• Администрирование баз данных,
• Программирование

• Перевод

И снова добрый вечер!

Запускаем второй поток нашего нового курса «Реляционные СУБД», который мы чуть дотюнили по итогам первого прогона: дополнительные занятия по кластерам MySQL и Postgres, оказался востребованным docker и ещё разные «доработки напильником». Так что ждите открытые уроки (в которые вынесли часть старых тем) и интересные материалы. Сегодня мы покопаемся в техниках Oracle.

Поехали.

Bitmap-индексы Oracle сильно отличаются от стандартных индексов B-дерева. В bitmap-структурах создается двухмерный массив со столбцом для каждой строки в индексируемой таблице. Каждый столбец представляет отдельное значение в bitmap-индексе. Этот двухмерный массив показывает каждое значение индекса, умноженное на количество строк в этой таблице.

Oracle распаковывает bitmap (со скоростью извлечения строки) в буфер данных ОЗУ для быстрого сканирования на предмет совпадения значений. Эти совпадающие значения передаются Oracle в виде списка Row-ID, и значения Row-ID могут напрямую обращаться к необходимой информации.

Читать дальше →