Как стать автором
Обновить
65.19
Рейтинг

Администрирование баз данных *

Все об администрировании БД

Сначала показывать
Порог рейтинга

Как избежать распространенных ошибок при работе с СУБД

Блог компании Selectel SQL *IT-инфраструктура *Администрирование баз данных *

В этом материале мы поговорим о практиках и ошибках при работе с разными СУБД, а также поделимся чек-листом от менеджера PaaS-продуктов Selectel Андрея Андронова.

Мы начнем с планов на проект и серверных комплектующих, пройдем через правила проектирования баз данных и доберемся до уровня доступности.
Читать дальше →
Всего голосов 33: ↑29 и ↓4 +25
Просмотры 3K
Комментарии 5

Новости

Наша новая удачная попытка бесшовной замены Redis на KeyDB

Блог компании Флант Администрирование баз данных *DevOps *Kubernetes *

Мы уже как-то рассказывали о базе данных KeyDB — форке Redis, разработка которого началась в 2019 году. Проект распространяется под свободной лицензией BSD, и у него уже почти 6k звезд на GitHub. Авторы в свое время столкнулись с проблемами производительности оригинала и пошли хардкорным путём: взяли всё в свои руки и привнесли много нового как в части многопоточности, так и в других областях.

В статье делимся еще одним положительным опытом замены Redis на KeyDB.

Читать далее
Всего голосов 40: ↑40 и ↓0 +40
Просмотры 4.7K
Комментарии 16

Зачем компаниям и разработчикам базы данных в облаке: инструкция по применению

Блог компании CloudMTS Администрирование баз данных *Хранение данных *Облачные сервисы *
image

Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).

В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.

Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.

Читать дальше →
Всего голосов 7: ↑5 и ↓2 +3
Просмотры 905
Комментарии 2

Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 1 — Введение

Блог компании Флант Системное администрирование *Администрирование баз данных *DevOps *
Перевод

Прим. переводчика: автор статьи рассказывает о причинах, побудивших его команду обновить кластер Elasticsearch размером более 3 петабайт, и приводит результаты замеров работоспособности нового кластера в сравнении со старым.

Еще в 2018 году, то есть пять лет назад, в нашем блоге был опубликован пост с описанием нашего кластера Elasticsearch на 400+ узлов. Тогда была затронута важная тема:

Мы решили не обновлять кластер. Хотелось бы, но пока есть более срочные задачи. Да и как именно будет происходить обновление, пока не решено. Один из вариантов — создать новый кластер, а не обновлять старый.

Что ж, долгожданный день обновления, наконец, наступил.

Читать далее
Всего голосов 27: ↑27 и ↓0 +27
Просмотры 3.2K
Комментарии 6

ClearML

Администрирование баз данных *Машинное обучение *Искусственный интеллект

Первая ML-платформа для трекинга экспериментов, которую мне довелось использовать в проде - это MLFlow. В далёком 2018 мне это показалось чудом - это что же, теперь не надо заносить результаты обучения в Эксель-табличку??

Душа, однако, всегда требует перемен - хочется обновить куду, версию пайторча и фон в зуме. Так что, когда в июне 2019 открылся ML-отдел Цельса, мой взор упал на свеженький, прям из печки Trains AI, ныне известный как ClearML. Может показаться, что базировать ML-инфрастуктуру компании на продукте в бета-версии было слегка рискованно. Отчасти это так, но на самом деле даже сейчас переезд на какое-то аналогичное решение вряд ли стал бы катастрофой. Например, интеграция ClearML в код - это буквально строчки три на сложный проект.

Если вы хотите узнать ещё больше об организации процессов ML-разработки, подписывайтесь на наш Телеграм-канал Варим ML

Читать далее
Рейтинг 0
Просмотры 594
Комментарии 0

Чему мы научились после того, как я случайно уничтожил продуктивную базу данных

Блог компании ISPsystem Администрирование баз данных *Управление проектами *
Перевод

«Собственно, б***ь, вот…», думал я, пока в телефонной трубке звучали длинные гудки. Я звонил своему боссу — не сомневаюсь, этим ясным пятничным утром он только и мечтал услышать, как его старший разработчик только что своими руками, не нарочно, удалил базу данных бэк-офиса.

Гудки напомнили мне писк больничной аппаратуры — когда монитор отмеряет последние пульсы умирающего больного. В данном случае, речь шла о моей карьере. Наконец, трубку на том конце кто-то снял. Мне оставалось уповать лишь на мудрость моего начальника. В глубине души я верил, что, выслушав меня, он произнесет какую-нибудь вдохновляющую речь, после которой я найду в себе силы всё исправить. Но он сказал: «Как это, мать твою, вообще случилось?!».

Что ж, сейчас я расскажу вам, как.

Читать далее
Всего голосов 60: ↑53 и ↓7 +46
Просмотры 28K
Комментарии 85

Сохранение изображения в БД C#

.NET *Администрирование баз данных *C# *Разработка под Windows *
Tutorial

Порой необходимо сохранить те или иные изображения в базу данных. Сохранять в бд путь до картинки не самый оптимальный выход из ситуации, так как это будет работать локально на одном пк и то не всегда.

Оптимальным выходом из данной ситуации является представление изображения в виде массива байтов byte[]

Набор байтов - это самый простой способ представления файла изображения в виде данных. Строка не подходит, поскольку она содержит коды символов, а файл изображения не состоит из символов. Так как не существует специального класса для хранения данных файла изображения, для этого отлично подходит массив байтов.

Любой файл можно рассматривать как набор байтов, поэтому массив байтов является результатом чтения файла в виде двоичных данных. Файл также может быть декодирован как определенный формат, например, текстовый файл, результатом которого является строка, или формат сжатого изображения (JPEG, GIF, PNG и т. д.), результатом которого является Bitmap.

Читать далее
Всего голосов 19: ↑1 и ↓18 -17
Просмотры 2.9K
Комментарии 19

Какие базы данных регистрировали российские компании и почему? 7 примеров из практики

Блог компании Онлайн Патент Администрирование баз данных *Читальный зал Патентование *

Под базой данных подразумевается набор самостоятельных материалов, собранный и систематизированный таким образом, чтобы быть доступными к обработке электронными вычислительными машинами (ЭВМ). Обычно представления о базах данных ограничиваются контактными данными пользователей для настройки рекламы и решения других задач в сети. Однако на самом деле подборка красивых туристических мест с перечнем характеристик — тоже база данных. Это же относится к перечню растений, встречающихся на определённой территории и почти любой информации, если она представляет собой набор самостоятельных материалов. О том, как крупные компании защищают свои базы данных, читайте в нашей статье.

Читать далее
Всего голосов 9: ↑6 и ↓3 +3
Просмотры 3.1K
Комментарии 4

Сломать контроль ресурсов в контрольных группах Linux. Часть 2

Блог компании Southbridge Настройка Linux *IT-инфраструктура *Администрирование баз данных *Разработка под Linux *

В предыдущей публикации мы рассмотрели, как организованы контрольные группы и почему их наследование не всегда гарантирует справедливый учёт ресурсов. Также успели проанализировать один из сценариев, при котором «вредоносные» контейнеры потребляют больше ресурсов, чем разрешено. В этой статье разберёмся с оставшимися сценариями и обсудим, как решать проблемы безопасности, возникающие из-за недостатков механизма cgroups. 

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 1.4K
Комментарии 0

Как Postgres хранит строки

Блог компании OTUS PostgreSQL *Администрирование баз данных *
Перевод

Мне стало интересно разобраться, как PostgreSQL хранит данные на диске, и в процессе своего исследования я обнаружил несколько интересных фактов, которыми хочу с вами поделиться.

Мы будем рассматривать только файлы кучи (heap). Heap-файл — это просто файл записей. Не путайте heap-файл с heap-памятью. Хотя их использование очень похоже: хранение динамических данных.

Читать далее
Всего голосов 21: ↑18 и ↓3 +15
Просмотры 10K
Комментарии 3

Хранимые процедуры, функции и триггеры на Java

Блог компании РЕД СОФТ Java *Администрирование баз данных *Firebird/Interbase *
Recovery mode

Всем привет! Сегодня мы расскажем о полезной возможности СУБД Ред База Данных - создании внешних подпрограмм, то есть процедур, функций и триггеров на языке Java. Например, язык PSQL не позволяет работать с объектами файловой системы или сети, а Java запросто решает такие задачи и существенно расширяет возможности встроенного языка.

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 4.1K
Комментарии 13

Аналитические панели в реальном времени. В поисках (Apache) Doris

Блог компании OTUS MySQL *Администрирование баз данных *

Можно было бы назвать эту статью "Yet another analytical database", если бы не тот факт, что Apache Doris построен на архитектуре MPP, которая изначально ориентирована на параллельные вычисления и использование распределенного хранения и обработки данных на кластерах. Изначально проект Baidu, инструмент позволяет подготавливать аналитические панели с обновлением в реальном времени, при этом источниками данных могут быть как потоки из внешних источников (логи событий, time series-данные), так и источники из Data Lake (например, Apache Iceberg или Hive). В этой статье мы рассмотрим основные моменты использования Apache Doris на простом примере хранения и простой обработки данных о погоде.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 799
Комментарии 0

Уменьшение размера файла в СУБД Ред База Данных / Firebird без операции backup & restore

Блог компании РЕД СОФТ Настройка Linux *Администрирование баз данных *Firebird/Interbase *
Recovery mode

Добрый день. Меня зовут Сергей, я работаю системным архитектором в компании "РЕД СОФТ". Как я уже писал в прошлой статье, одна из проблем при эксплуатации СУБД Ред База Данных и Firebird — это уменьшение размер файла, выполнить которое возможно исключительно через backup и restore. Это долгие операции и даже при всех возможных оптимизациях будут занимать несколько часов или даже суток.

В большинстве случаев нет необходимости в уменьшении размера БД. Свободное место будет использоваться при вставке данных, а также для хранения старых, но ещё активных версий данных (В Firebird используется механизм MVCC).

Однако в некоторых случаях это сделать полезно (или вам просто очень хочется).

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 1.3K
Комментарии 3

PostgreSQL, что в логе твоем?

Блог компании Тензор PostgreSQL *Анализ и проектирование систем *Администрирование баз данных *Визуализация данных *

Наверняка, многие из вас пользуются explain.tensor.ru - нашим сервисом визуализации PostgreSQL-планов или уже даже развернули его на своей площадке. Но визуализация конкретного плана - это лишь небольшая помощь разработчику, поэтому в "Тензоре" мы создали сервис, который позволяет увидеть сразу многие аспекты работы сервера: медленные или гигантские запросы, возникающие блокировки и ошибки, частоту и результаты проходов [auto]VACUUM/ANALYZE.

И сегодня мы, наконец, готовы представить вам демо-режим этого сервиса, куда вы самостоятельно можете загрузить лог своего PostgreSQL-сервера и наглядно увидеть, чем он у вас занимается.

Читать далее
Всего голосов 29: ↑29 и ↓0 +29
Просмотры 3.9K
Комментарии 0

Истории

PostgreSQL для звездочетов

Блог компании OTUS PostgreSQL *Администрирование баз данных *Астрономия

Свободная СУБД PostgreSQL известна не только как высокопроизводительное решение для выполнения запросов и хранения данных в реляционной модели, но также своим механизмом расширения, который позволяет создавать дополнительные функции, типы данных, индексы и иные структуры данных для разных предметных областей. В этой статье мы рассмотрим некоторые подходы к сохранению и обработки данных астрономических каталогов (альманахов) с использованием возможностей PostgreSQL.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 4.1K
Комментарии 2

Топ полезных SQL-запросов для PostgreSQL

PostgreSQL *SQL *Администрирование баз данных *Хранение данных *Хранилища данных *

Статей о работе с PostgreSQL и её преимуществах достаточно много, но не всегда из них понятно, как следить за состоянием базы и метриками, влияющими на её оптимальную работу. В статье подробно рассмотрим SQL-запросы, которые помогут вам отслеживать эти показатели и просто могут быть полезны как пользователю.

Читать далее
Всего голосов 83: ↑81 и ↓2 +79
Просмотры 35K
Комментарии 15

По существу: чем графовая база данных отличается от реляционной?

Блог компании OTUS Администрирование баз данных *Data Engineering *
Перевод

Конечно, вы и сами можете легко нагуглить ответы на этот вопрос, однако, как я обнаружил, большинство ответов, которые вы найдете, раскрывают эту тему чересчур поверхностно.

В сегодняшнем вечно занятом мире новые данные, теперь представляющие из себя фундаментальные активы большинства предприятий, создаются без остановки. Системы доступны 24/7, генерируя данные каждую секунду каждого дня. И даже больше, эти сложные композиции систем генерации и обработки данных непрерывно взаимодействуют друг с другом для предоставления услуг конечному пользователю. В последнее время я все чаще натыкаюсь на один вопрос, который заключается в следующем: как обстоят дела с графовыми базами данных и чем они выделяются на фоне реляционных? И в итоге я решил как следует разобраться в этой теме. Найти множество ответов на этот вопрос не представляет особого труда, достаточно просто немного погуглить. Однако, как я обнаружил, большинство ответов перечисляют преимущества очень поверхностно.

Именно поэтому я решил поделиться с вами в этой статье кратким разбором того, в чем по моему мнению заключается их истинная ценность — независимо от маркетинговых презентаций крупных компаний и технологических инфлюенсеров.

Читать далее
Всего голосов 25: ↑13 и ↓12 +1
Просмотры 9.6K
Комментарии 21

Импорт данных с MSSQL на PostgreSQL

PostgreSQL *Microsoft SQL Server *Администрирование баз данных *
Из песочницы

В наличии была база данных MSSQL (с которой забираем данные), а также PostgreSQL Pro Enterprise 10.3, развернутая на CentOS 7 (на которую импортируем). Ну и полное отсутствие интернета.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 4.5K
Комментарии 4

Как мы используем Greenplum в платформе данных Тинькофф

Блог компании TINKOFF Администрирование баз данных *
✏️ Технотекст 2022

Меня зовут Дмитрий Немчин, я руковожу отделом, который отвечает за движки хранения и обработки данных в платформе данных Тинькофф. Несколько лет назад мы поняли, что продукты, на которых работало хранилище, перестали нас устраивать. Объемы росли, понадобилось масштабируемое решение. В этом тексте я расскажу, как мы пришли к Greenplum в качестве ядра хранилища данных и как используем его. 

Читать далее
Всего голосов 19: ↑18 и ↓1 +17
Просмотры 2.9K
Комментарии 22

Стадо русских слонов

Информационная безопасность *PostgreSQL *Администрирование баз данных *

Тема импортозамещения всё более и более актуальна и уже даже можно сравнивать некоторые продукты между собой. Сегодня хотелось бы собрать в один строй и взглянуть на имеющиеся решения по СУБД семейства PostgreSQL. Кому интересно узнать про "русские" PostgreSQL - добро пожаловать под кат.

Читать далее..
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 8.1K
Комментарии 17

Вклад авторов

Работа