Базы данных *

Буквально, вчера, вспоминал об этом замечательном сайте, в связи с неприятной особенностью в работе основного сайта по numpy, но что-то проверить не полез, а он нас, оказывается, клаудфронтит, чего бы это ни означало.

_{Для фанатов офиса, из числа российских работодателей, это - дополнительный способ покрепче прибить гвоздями, к офису, тех сотрудников, что не пользуются трёхбуквенными обозначениями всепланетного доступа. В офисах то, я слышал, вообще всё есть. Ну прям вообще... (я против принуждения работников к любому из вариантов - должны быть доступны, и офис, и гибрид, и удаленка, если позволяет характер работы)}

В Облаке Рег.ру повысили лимит на количество баз данных — в 100 раз

В Облачной платформе Рег.ру обновили лимит на количество баз данных в кластерах DBaaS: теперь пользователи могут добавлять до 1000 баз. Расширили возможности системы в 100 раз для повышения гибкости и масштабируемости проектов пользователей. 

Мы часто получаем запросы на развитие платформы, и этот релиз — результат обратной связи от наших клиентов. Спасибо вам!

Напомним, что в облаке Рег.ру доступно два вида управляемых БД — PostgreSQL и MySQL. Добавить новые базы данных в существующем кластере можно в личном кабинете, а узнать подробнее про возможности DBaaS — здесь.

ITFB Group совместно с Nexign, Sber Tech и Arenadata приглашают на вебинар, посвященный теме Датацентричность как стратегический приоритет: какие ИТ-инструменты помогут бизнесу принимать обоснованные решения?

Когда: 10 июля, 11:00

Где: онлайн

В рамках вебинара вас ждет уникальный формат:

• Экспертные доклады

• Живой круглый стол

Что обсудим:

• Лучшие российские платформы для управления данными (ETL, BI, BigData)

• Практические кейсы внедрения от Nexign, Arenadata и СберТех

• Как измерить ROI от дата-стратегии и ускорить цифровую трансформацию

Спикеры:

• Дмитрий Лемеш (Nexign) – интеграция данных для бизнеса

• Антон Близгарёв (Arenadata) – BigData без сложностей

• Владимир Федосеев (СберТех) – аналитика на автомате Модератор: Николай Чекин (ITFB Group)

Для кого?

→ ИТ-директора и директора по данным
→ Руководители цифровой трансформации
→ Специалисты по работе с данными (ETL, DWH, BI)

Регистрируйтесь сейчас!

Зарегистрироваться

Сравниваем NoSQL и SQL: что выбрать

Сравнили реляционные СУБД с NoSQL (Not Only SQL) — альтернативными системами хранения и управления данными для лучшей обработки неструктурированной информации. Когда при работе с хаотичными данными мощности традиционных СУБД уже не хватает, такая альтернатива может быть разумной заменой.

Сопоставили отличительные черты NoSQL и SQL, и вот что получилось:

Подробный обзор NoSQL, особенности их использования, типичные сценарии и наглядные кейсы в рабочих проектах смотрите в базе знаний Облака Рег.ру.

Как уведомить Роскомнадзор об обработке персональных данных?

На Хабр вышла наша статья, прочтение которой поможет корректно подать уведомление в Роскомнадзор о намерении обрабатывать персональные данные. Особенно она будет полезна для ИТ-компаний и стартапов.

Из статьи вы узнаете:

• кто и в какие сроки должен подать уведомление

• как правильно заполнить уведомление

• как подготовиться к подаче уведомления и что нужно не забыть сделать после отправки

PlantUML | Шаблон для описания таблиц БД

Делюсь с Вами разработанным мною шаблоном, для описания таблицы БД в PlantUML, c элементами автоматизации, описание которых указанно в комментариях.

Всем привет!
Делюсь с Вами разработанным мною шаблоном, для описания таблицы БД в PlantUML, c элементами автоматизации, описание которых указанно в комментариях.

Протестировать можете тут, а сам код шаблона указан ниже:

 ' Шаблон описания таблицы БД (в PlantUML)
@startuml

skinparam {
' Параметры для управления нижним колонтитулом
    FooterFontColor #blue
    FooterFontSize 12
' Параметры для управления легендой
    LegendBackgroundColor #lightblue
    LegendBorderThickness 0
}

' Переменные для ускорения описания таблицы
' - PRIMARY KEY можно указывать как: "$PK"
    !$PK="  <size:11><#DarkKhaki:key:></size> (PK)  "
' - FOREIGN KEY можно указывать как: "$FK"
    !$FK="  <size:11><#DeepPink:key:></size> (FK)  "
' - NOT NULL (N-N) можно указывать как: "$NN"
    !$NN="  <#LightGreen> **N-N**  "
' - NULL можно указывать как: "$N"
    !$N = "  <#LightCoral> **NULL**  "


' Переменные для ускорения добавления информации о таблице
' - Наименование таблицы БД (латинское)  
    !$table_name="Наимнование_таблицы_БД"
' - Краткое описание таблицы (на русском) 
    !$description="Краткое описание таблицы (на русском)"
' - Ссылка на описание таблицы (на русском)
    !$doc_url="Ссылка"

' Контакты, отображаемые в нижнем колонтитуле
    !$autor ="Зимин Антон"
    !$email ="antzim_in@ya.ru"
    !$telegram="antzim_in"

' Заголовок документа, формируется автоматически из заполненных выше параметров (при необходимости можно удалить)
    title $table_name | $description

' Легенда (может быть заполнена любыми необходимыми данными)
' - "right" говорит о том, что легенда будет расположена справа 
legend right
**Легенда:**
| Версия документа: | 1.0.0 |
end legend



' Описание таблицы
' - заголовок таблицы, с кликабельной ссылкой (если выгружать в SVG) формируется автоматически
class "[[$doc_url $table_name]] ($description)" as $table_name << (T,#FF5722) >>{

|=   PK,FK  |=   Поле   |=   Тип   |=   Обязательность   |=   Значение\n по умолчанию   |=   Описание   |
| $PK | id | serial | $NN | | Идентификатор записи в таблице |
| $FK | subscriber_id | integer | $NN | | Идентификатор записи в таблице subscriber |
|     | electronic_address | varchar(255) | $N | | Электронный адрес \n клиента |
|     | created_at | timestampz | $NN | now() | Дата и время создания записи в БД |
|     | updated_at | timestampz | $NN | now() | Дата и время обновления записи в БД |
}

' Нижний колонтитул (формируется автоматически из введенных параметров)
footer © $autor | tg: [[https://t.me/$telegram @$telegram]] | email: $email
@enduml

Буду рад Вашим комментариям, отзывам, а если еще и поднимите карму то буду крайне благодарен.

Всем спасибо.
----

Пообщаться со мной можно в telegram: @antzim_in
P.S. Также, если Вам интересно, я веду telegram канал @sa_chulan и буду очень рад Вашей подписке.

Ежемесячный дайджест: новое за март и апрель⛅

☁️ Провели главную IT-конференцию про облачные технологии и искусственный интеллект — GoCloud 2025. А пока мы готовим записи докладов, читайте об итогах конференции и о том, какой простор облачные и AI-технологии могут открыть для ваших IT-проектов в статье.

🦾 Рассказали про новые сервисы на платформе Cloud.ru Evolution. Например, теперь в коммерческом доступе Evolution Managed ArenadataDB — база данных на основе решения с открытым исходным кодом Greenplum, с которой можно хранить и обрабатывать большие объемы структурированных и полуструктурированных данных. Массово-параллельная архитектура (MPP) базы позволяет ускорять обработку данных даже в критически важных системах. 

Подробнее обо всех новых сервисах, а также обновлениях на других наших облачных платформах читайте в дайджесте на сайте.

💼 В кейсе рассказали, как технологии искусственного интеллекта в облаке Cloud.ru помогли подготовиться к выходу на новый рынок Wildberries — самому крупному по обороту маркетплейсу в России.

💸 Перезапустили реферальную программу, чтобы вы могли с большей выгодой рекомендовать сервисы Cloud.ru клиентам, коллегам или друзьям. Теперь можно получить 20% от суммы чеков приведенных пользователей в первый год и 15% — в последующие годы. Регистрируйтесь в программе до 31 мая и приводите новых пользователей в течение трех месяцев. Участвовать могут самозанятые, ИП и юридические лица. Присоединиться.

📺 Провели вебинары, и их можно посмотреть в записи:

• Топ-5 ошибок при миграции в облако и как их избежать

• Охота на ботов: как защитить свои ресурсы и не потерять реальных пользователей

• Маркетплейс Cloud.ru: от идеи до публикации вашего продукта

• Простой запуск ML-моделей в облаке: как сэкономить до 70% ресурсов

А также приглашаем на вебинар: Безопасность контейнеров и Kubernetes от А до Я: как противостоять киберугрозам. На встрече обсудим базовые меры профилактики и защиты от киберрисков на уровне микросервисов, контейнеров и окружений под управлением Kubernetes. 24 апреля в 11:00 мск.

До встречи в майском выпуске!

Хабр, привет!

Завтра, 22 апреля, в 09:00 мск стартует ArenaDAY 2025 — крупнейшая конференция по управлению данными и аналитике. Мы понимаем, что в будний день не у всех получится включить видеотрансляцию, поэтому запускаем текстовую онлайн-трансляцию.

Вас ждёт:

• Шесть тематических секций: «Бизнес-кейсы», «Продукты», «Гибридное хранилище», «Будущее», Data Governance и Investor Day; отдельная демозона с живыми показами решений и экосистемы Arenadata.

• Кейсы от ВТБ, «Газпромнефти», МКБ, «Росатома», «Северстали», «МегаФона» и других лидеров.

• Интерактивы и розыгрыши.

Сохраните этот пост в закладки — ровно в 09:00 здесь появится ссылка на текстовую трансляцию ArenaDAY. До встречи в онлайне!

 Ссылка на трансляцию: https://habr.com/ru/companies/arenadata/articles/902964/

Теперь ваши приложения могут безопасно общаться с другими управляемыми сервисами — например, с базами данных или балансировщиками.

👍 Это самая популярная фича за год. Аж восемь (!!!) идей.

Вот они, вдохновители, слева направо: Nikolai, Константин, Павел, Vladimir, Инкогнито, Михайлович, Ян, Денис.

Пока приватные сети можно добавлять только в новые бэкенд приложения + Docker и Docker Compose. Потом раскатаем на уже созданные аппсы и добавим возможность переноса между сетями.

Заприватить сеть в Apps →

Добавили новые версии баз данных 🐣

Всем приготовиться, целых 3 новых версии баз данных уже в панели. Погнали с обзором:

MySQL 8.4. Тут и повышение производительности, и фиксы багов. А еще улучшения в механизмах репликации.

А для фанатов ClickHouse — х2, сразу два релиза:

➖ 24.8.14 LTS: обновленный тип JSON, механизм обработки таблиц для временных рядов данных, однократная обработка сообщений Kafka и, конечно же, улучшения оператора JOIN. И все в одном флаконе релизе.

➖ 25.1: улучшенные алгоритмы параллельного хэш-соединения, индексы MinMax на уровне таблицы, прокачанные таблицы слияния и функция автоматического увеличения.

Уже сейчас можно бежать в панель и тестить новые версии.

А меня даже и уговаривать не надо, уже ставлю →

Расскажем как эффективно работать с большими таблицами в PostgreSQL и упростить задачи администрирования на онлайн-митапе.

25 марта в 11:00 приглашаем на бесплатный онлайн-митап «PGMeetup: Механизмы секционирования больших таблиц». Это вторая встреча из цикла «Работа с данными в Postgres Pro Enterprise», и она посвящена одной из важных тем для любого DBA, работающего с большими объемами данных – секционированию таблиц.

Чем этот вебинар будет полезен именно администратору баз данных?

• Узнаете, как секционирование позволяет значительно повысить производительность запросов к большим таблицам, разгрузить вашу систему и сделать работу пользователей комфортнее.

• Поймёте, как секционирование облегчает обслуживание больших таблиц, включая резервное копирование, восстановление и реорганизацию данных. Освободите свое время для более важных задач!

• Разберётесь в возможностях секционирования Postgres Pro, включая декларативное секционирование и автоматизацию с помощью pgpro_autopart. Повысьте свою квалификацию и добавьте ценный навык в свой арсенал.

• Получите практические знания о различных вариантах секционирования (hash, range, list), сценариях их применения и ограничениях. Применяйте проверенные решения в своей работе.

• Выясните, как планировщик запросов Postgres Pro взаимодействует с секционированными таблицами, чтобы вы могли максимально эффективно использовать этот механизм.

Митап проведет Владимир Пудовченко, технический консультант Postgres Professional, эксперт с многолетним опытом работы с Postgres Pro. 

Когда: 25 марта в 11:00 (онлайн, участие бесплатное по предварительной регистрации).

Формат: онлайн-трансляция на платформе PGConf (после мероприятия запись будет доступна).

Будет интересно и полезно администраторам баз данных, разработчикам и всем, кто работает с PostgreSQL.

Обновили курс DBA2 «Администрирование PostgreSQL 16. Настройка и мониторинг»

Компания Postgres Professional выпустила обновление курса DBA2 «Администрирование PostgreSQL 16. Настройка и мониторинг». Переработку и актуализацию материалов выполнили специалисты отдела образования Игорь Гнатюк и Илья Баштанов.

Обновлённая версия курса учитывает возможности, появившиеся в PostgreSQL 14, 15 и 16. Ряд тем был переработан, чтобы лучше отражать современные функции и возможности СУБД.

Этот курс – логичное продолжение DBA1. Если вы уже знакомы с основами PostgreSQL и Unix, то DBA2 – это следующий шаг. Он позволяет получить навыки, необходимые для:

• тонкой настройки конфигурационных параметров с пониманием внутренней организации сервера;

• эффективного мониторинга сервера с дальнейшей итеративной настройкой;

• работы с параметрами, связанными с локализацией, управления расширениями и обновления сервера.

Структура курса охватывает широкий спектр тем: от работы с многоверсионностью и механизмами хранения данных до тонкостей журналирования и управления блокировками. Материалы построены так, чтобы теория переходила в практику на каждом этапе, помогая в решении реальных задач.

Чтобы пройти курс самостоятельно, рекомендуем сначала ознакомиться с руководством слушателя, где подробно описаны настройка рабочего места и даны рекомендации по выполнению практических заданий. Вы сможете сразу погрузиться в процесс, не отвлекаясь на подготовительные моменты.

Курс уже находится в свободном доступе:

https://postgrespro.ru/education/courses/DBA2

🚀 Как выжать 1,5 миллиона IOPS из базы данных в облаке? Расскажем на бесплатном вебинаре

Приглашаем DBA-инженеров, системных администраторов, DevOps-инженеров и всех, кого интересует работа с облачными базами данных. На практических кейсах и расчетах покажем, как одновременно в 10 раз увеличить производительность баз данных (до 1,5 млн IOPS) и сократить расходы на инфраструктуру почти вполовину. Регистрируйтесь и подключайтесь из любой точки мира 13 марта в 11:00 (МСК).

Что будет на вебинаре

🔹 Сравним выделенную инфраструктуру с классическим облаком. 

🔹 Расскажем про подбор железа и оптимизацию ОС для максимальной производительности облачных баз данных. 

🔹 Поделимся сравнением производительности баз данных на выделенном облачном сервере с аналогичными сервисами.

🔹 Покажем, как сократить расходы на инфраструктуру для баз данных практически вполовину.

🔹 Ответим на вопросы.

Зарегистрироваться →

Orion soft обновил промышленную СУБД для высоконагруженных систем Proxima DB

Что нового в версии Proxima DB 3.1:

• Мониторинг производительности в UI в режиме реального времени — поможет молниеносно выявлять и проводить траблшутинг зависших запросов, что особенно важно для бизнес-критичных систем

• Proxima DB Advanced — полноценная платформа, которая поддерживает совместимость с СУБД на базе PostgreSQL

• Возможность развернуть СУБД в контейнерной среде «по клику» за секунды из UI — облегчит и ускорит работу с СУБД в компаниях с собственной разработкой 

• Подробнее о новых фичах и исправлениях расскажем на вебинаре 12 марта.

Присоединяйтесь! Регистрация на вебинар — по ссылке.

Также в планах — развивать шардирование, геокластеры и дополнять продукт новыми функциями мониторинга (например, рекомендации по оптимизации производительности, карта фрагментирования объектов, интерактивный мониторинг репликаций, мониторинг шардирования).

Задача об утечке паролей

Задача будет полезна начинающим и опытным специалистам по информационной безопасности, а также всем, кто хочет защитить свои данные.

Условие

В компании «ТехноБезопасность» недавно всплыла неприятная ситуация: один из сотрудников каким-то образом заходит под аккаунтами других пользователей.

Специалист по безопасности Дин Завров начал расследование. Изначально он предполагал, что утечка вызвана атаками XSS или CSRF, но лид фронтенд-разработки заверил: подобные уязвимости исключены. Тогда Дин пошел к бэкенд-разработчикам и девопсам, но и они не смогли помочь. Пришлось ему самостоятельно перебирать все популярные варианты утечки паролей.

Задача

Определите, какими способами внутри компании мог произойти несанкционированный доступ к чужим аккаунтам. Предположения о фронтенд-уязвимостях (XSS/CSRF) исключены.

Важно учесть все варианты, связанные с неправильным хранением паролей, секретов, бэкапов и логов.

Делитесь своими ответами в комментариях. А проверить себя можно в Академии Selectel →

В США нашли получателя пособий возрастом 360 лет и несколько миллионов американцев старше 120 лет, которые также сидят на госвыплатах. Такой список опубликовал Илон Маск. «Возможно, „Сумерки“ реальны, и здесь много вампиров, которые получают социальные пособия», — написал Маск.

Как справиться с 6 500 баз данных 1С?

Администрирование баз данных 1С — задача довольно распространенная. Другое дело, когда в вашей инфраструктуре 6 500 таких баз и 4 000 пользователей. И все это должно быстро и стабильно работать, резервироваться, восстанавливаться и иметь защиту от внешних угроз. С таким запросом в Selectel обратился сервис Альтап.

В кейсе рассказываем, как компания:

• подобрала оптимальные конфигурации выделенных серверов для 1С и баз данных,

• обеспечила надежное хранение резервных копий баз данных,

• защитила сервис от DDoS-атак и других угроз из интернета.

Подробности кейса — в Академии Selectel.

«Слово о нагрузочном тестировании: курс на успешную миграцию»

📅 13 февраля, 16:00

А как тестируете вы?
📈13 февраля на онлайн-митапе обсудим преимущества и недостатки различных методов проведения нагрузочного тестирования. На примере реального кейса миграции СУБД представим нашу собственную методику оценки производительности информационных систем!

👨‍💻 Спикеры мероприятия:

— Роман Севрук, менеджер по развитию решений СУБД

— Александр Зубков, инженер по автоматизации нагрузочного тестирования

— Алексей Сатин, архитектор инфраструктурных решений

✅ Регистрируйтесь на онлайн-митап, чтобы узнать, как выбрать подходящий способ оценки производительности, минимизировать риски возникновения проблем и оптимизировать расходы на нагрузочное тестирование. 

PGConf.Russia 2025 ждёт доклады

Мы ищем тех, кто горит PostgreSQL так же, как и мы. Если вы администратор баз данных, разработчик, архитектор или DevOps-инженер, и в вашей работе PostgreSQL играет важную роль – нам есть что обсудить.

PGConf.Russia 2025 пройдёт 31 марта – 1 апреля в Центре международной торговли в Москве и онлайн. 

О чём рассказать?

Возможные темы для докладов на PGConf.Russia 2025:  

• Практический опыт администрирования PostgreSQL, оптимизация производительности и автоматизация задач.

• Архитектурные решения для обеспечения отказоустойчивости и масштабирования PostgreSQL: резервное копирование, восстановление, кластеризация, шардирование.

• Инструменты и методики эффективной миграции на PostgreSQL с других СУБД или устаревших версий.

• Опыт использования новых возможностей и расширений PostgreSQL, их применение и перспективы.

Почему сто́ит выступить?

PGConf.Russia 2025 — это:

• Большая аудитория. 1 500+ увлечённых профессионалов, готовых учиться, обмениваться опытом и задавать каверзные вопросы. 

• Признание и уважение. Ваш опыт ценен для сообщества. Выступление на PGConf.Russia – это возможность заявить о себе, повысить профессиональный статус и получить заслуженное признание.

• Бесплатное участие и размещение. Мы ценим вклад спикеров. Для докладчиков участие в конференции и размещение – за наш счёт.

• Возможность влиять на развитие PostgreSQL. Площадка для обсуждения актуальных вопросов, новых разработок и будущего PostgreSQL. Ваш доклад может стать искрой для новых идей и проектов.

Как подать заявку?

До 23 февраля 2025 года зайдите на сайт PGConf.Russia 2025 и нажмите кнопку «Подать доклад». Заполните название и аннотацию доклада, выберите формат, если нужно, оставьте дополнительный комментарий для программного комитета.

Не стесняйтесь подавать заявки, даже если вы никогда раньше не выступали на конференциях. Мы рассмотрим каждую заявку и, при необходимости, поможем улучшить доклад. Главное – интересный опыт и желание делиться знаниями.

Можно ли внести в Реестр отечественного ПО базу данных?

Можно. 

В Реестре уже сейчас содержится несколько десятков самых разнообразных баз данных. Назовем лишь некоторые из них:

• Сметно-нормативная база данных «Нефтехимия» (РЭСНр / ОЕР); 

• База данных характеристик пропантов, флюидов и кислотных составов, применяемых при гидроразрыве пласта;

• База данных «Система нормативно-методологического обеспечения комплекса программ» (БД НМО) комплекса программ в защищенном исполнении «Система полного жизненного цикла изделий «Цифровое предприятие»; 

• База данных «ЖКХ WIZARD»;

• База данных Яндекс.Недвижимость.

А что такое «база данных»?

В самом общем виде база данных — это определенный набор сведений, информации, хранящейся в электронном виде. 

А какие-нибудь требования для включения в Реестр баз данных есть? 

Есть. 

И они имеют как чисто юридический аспект (например, исключительное право на него надо оформить), так и технический. Вы можете предварительно получить свидетельство на свою базу данных в Роспатенте. Сделать это можно здесь. 

А фирмы, которые хотят внести базу данных в Реестр, должны ли соблюдать какие-нибудь обязательные условия? 

Да. Самое основное — корпорация-претендент на включение в Реестр ПО не должна иметь преобладающего иностранного участия. 

Доход от ее IT-деятельности также должен быть от 30%. 

А в чем смысл внесения базы данных в Реестр ПО для бизнеса? 

Главное — фирма, попавшая в этот Реестр, вправе претендовать на налоговые льготы и самые разные преференции при осуществлении своей коммерческой деятельности на территории России.

Внести свою базу данных в Реестр отечественного ПО можно здесь.