Как стать автором
Поиск
Написать публикацию
Обновить
210.59

Базы данных *

Все об администрировании БД

Сначала показывать
Период
Уровень сложности

Автоматическая настройка и оптимизация сервера MySQL для повышения производительности

Время на прочтение4 мин
Количество просмотров12K
Всем привет.

Хочу обсудить с сообществом наш проект, с помощью которого можно за 1 минуту создать конфигурационный файл MySQL, оптимизированный под производительность (тюнинг MySQL). Таким образом можно достаточно быстро создавать конфигурационный файл для первичной оптимизации производительности MySQL.
Читать дальше →

RPA. Испытания программного робота на скорость

Время на прочтение5 мин
Количество просмотров2.5K

Введение


На днях на внутреннем мероприятии мы с коллегами обсуждали тему роботизации процессов на проектах внедрения СЭД. Новости и обзоры поставщиков RPA говорят, что программным роботом мы можем заменить API-коннектор. То есть использовать RPA для переноса больших объемов данных.

Скептики считают, что RPA – это «костыль», эрзац. И если обстановка требует полноценного взаимодействия приложений, RPA не справится и все равно потребуется API-коннектор.
Наши продавцы и специалисты из внедрения встречают задачу миграции данных в каждом проекте.

Характерная особенность миграции – большой объем и очень сжатый срок. Предприятие готово выделить для этого только 2-3 дня. Специалисты по внедрению готовятся очень внимательно, буквально по минутам планируют работу. Разработчики готовят утилиты.

Прозвучал закономерный вопрос: за какое время робот сможет перетащить хотя бы несколько тысяч записей из одной базы в другую?
Читать дальше →

Гендир Postgres Professional Олег Бартунов рассказывает Фариде Рословец о PostgreSQL и бизнесе в России

Время на прочтение4 мин
Количество просмотров4.8K

Как построить бизнес в России на основе открытого ПО?
Рассказывает Олег Бартунов — сооснователь и CEO Postgres Professional, профессиональный астроном.


Поговорили немного об астрономии в России, кто такой астроном и чем он занимается, про интеграцию IT-технологий и науки, о том, как выиграть в конкурсе деньги и не получить их от государства, что такое СУБДстроение, и о том, как они с Крюковым и Лысаковым Rambler делали на базе Астронета.

Читать дальше →

DIY: как мы автоматизируем мониторинг склада

Время на прочтение8 мин
Количество просмотров8.8K
Под управлением Х5 находится 43 распределительных центра и 4 029 собственных грузовых автомобиля, они обеспечивают бесперебойную поставку продуктов в 15 752 магазина. В статье поделюсь опытом создания с нуля интерактивной системы мониторинга событий склада. Информация будет полезна логистам торговых компаний с несколькими десятками распределительных центров, управляющих широким товарным ассортиментом.


Читать дальше →

Знакомство с GraphQL на вечеринке

Время на прочтение5 мин
Количество просмотров5.8K
GraphQL и REST — это две парадигмы, используемые при создании API для веб-приложений.

REST — набор уникальных идентификаторов (URL), которые приложения используют для запроса и отправки данных.

GraphQL — язык запросов, который позволяет клиентским приложениям точно задавать данные, которые им нужны, из одного эндпоинта.

Это связанные технологии, они используются в основном для одних и тех же вещей (а могут и сосуществовать), но при этом они весьма разные.

Звучит немного пресно, да? Давайте объясним их различия более интересным способом, который может помочь вам лучше понять GraphQL, а, возможно, и просто позабавит.
Читать дальше →

Digital Shadows — компетентно помогает снизить цифровые риски

Время на прочтение5 мин
Количество просмотров2.5K
Digital Shadows

Возможно, Вы знаете что такое OSINT и пользовались поисковиком Shodan, или уже используете Threat Intelligence Platform для приоритизации IOC от разных фидов. Но иногда необходимо постоянно смотреть на свою компанию с внешней стороны и получать помощь в устранении выявленных инцидентов. Digital Shadows позволяет отслеживать цифровые активы компании и её аналитики предлагают конкретные действия.

По сути Digital Shadows гармонично дополняет существующий SOC или полностью закрывает функционал отслеживания внешнего периметра. Построение экосистемы идёт с 2011 года и под капотом реализована масса интересных вещей. DS_ мониторит Интернет, соц. сети и darknet и выявляет из всего потока информации только важное.

В своей еженедельной рассылке IntSum компания приводит табличку, которую Вы можете использовать в своей повседневной жизни для оценки источника и полученной информации. С табличкой вы также можете ознакомиться в конце статьи.
Читать дальше →

Обслуживание баз данных SharePoint 2013/2016

Время на прочтение20 мин
Количество просмотров13K
Меня зовут Любовь Волкова, я системный архитектор департамента разработки бизнес-решений. В предыдущем материале мною было рассказано о мониторинге счетчиков производительности SharePoint Server 2013/2016. Сегодня речь пойдет о не менее важной задаче – обслуживании баз данных SharePoint 2013/2016.

В состав любой фермы Microsoft SharePoint 2013/2016 обязательно входит SQL-сервер, который обеспечивает хранение данных различных служб и компонентов, развернутых для работы корпоративного портала. Как известно, производительность работы с базами данных оказывает существенное влияние на работу корпоративного портала в целом. Если не уделять внимание обслуживанию баз данных SharePoint или делать это безграмотно, то на практике встречаются следующие явные проблемы: снижение производительности работы на корпоративном портале, которая очень часто выражается в постепенном увеличении времени ожидания загрузки страниц, форм, данных на веб-страницах, а также дублирование действий и их несогласованность в части администрирования.

Очень часто разработка планов обслуживания вызывает существенные затруднения у администраторов порталов ввиду сложности, комплексности и необходимости обладать компетенциями не только по администрированию SharePoint, но и по администрированию SQL-сервера. Поэтому в статье я выполнила обзор всех ключевых операций обслуживания баз данных, привела примеры скриптов и практические советы. Пользуясь приведенными описаниями, вы найдете множество рекомендаций к действию. Отмечу, что материалы статьи не являются исчерпывающими, т.к. включить описание абсолютно всех деталей и тонкостей обслуживания баз данных SharePoint не представляется возможным. Для того, чтобы вы могли получить более подробную информацию по той или иной теме, приведены ссылки на дополнительные публикации.

Читать дальше →

Выполняем кластеризацию на примере BitrixVM: просто и понятно

Время на прочтение7 мин
Количество просмотров6.4K
Обеспечение отказоустойчивости – залог непрерывной работы и вообще полного удовлетворения как пользователей, так и админов. В нашем сегодняшнем материале речь пойдет о том, как можно выполнить кластеризацию BitrixVM с помощью простых и доступных средств, чтобы всем было радостно и ничто не мешало спокойно работать.
Читать дальше →

Альтернатива чатам с ИИ для анализа и оптимизации SQL запросов

Уровень сложностиСредний
Время на прочтение1 мин
Количество просмотров6.1K

Всем привет!

Экспериментировал с оптимизацией SQL запросов в ChatGPT и Claude. В какой-то момент понял, что это превращается в одно и то же: Напиши промт → вставь SQL → подожди → поправь → повтори

Читать далее

Когда гарантийный срок истёк

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров2.2K

Основная проблема IT-отрасли, на мой непросвещенный взгляд, заключается в том, что жизнь обучает нас профессии примерно так же, как учителя начальной школы — арифметике. Сначала нам говорят: делить на ноль нельзя. А потом оказывается, что ещё в XVII веке один маркиз по имени Гийом Франсуа Лопиталь научился. Нам говорят: квадратный корень можно извлекать только из положительных чисел. А потом — хоба — оказывается комплексными бывают не только обеды. И так далее.

С чего начинается обучение компьютерным наукам? — С некоторого количества теории, которая скучная и непонятная, как и любая полностью оторванная от практики теория, — а потом — с примеров. Мы открываем REPL и некоторое время забавляемся с ней, как с калькулятором.

И тут — бац!

Это база(!)

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров8.7K

Я не верю, конечно, ни в какую демократию (кроме оригинальной афинской 2½ тысячи лет назад, где кворум состоял из трёх с половиной образованных богатых неглупых людей, а остальные были безголосыми рабами и женщинами). Как я уже где-то говорил, существуют исторические свидетельства того, к чему привели первые проявления этой самой демократии: пару тысяч лет назад люди проголосовали распять одного там назаретянина.

Поэтому когда в качестве аргумента за ту, или иную парадигму, — я вижу какие-то индексы, голосования и прочую статистически значимую оценку vox populi, меня это раздражает. «Миллионы мух не могут ошибаться» — так себе аргумент. Поэтому мнение «коммьюнити разработчиков» — практически всегда облыжное, поверхностное, и, в целом, неверное. У каждого в руках свой молоток, а про многообразие саморезов люди en masse если и слышали, то краем уха и в качестве анекдота.

Если экстраполировать мнение большинства и принять его за аксиому, то в мире будут существовать только банковские приложения и круды с базами данных в качестве узкого места и дополнительными серверами вместо корректного горизонтального масштабирования. Тем не менее, многие даже в своей работе используют инструменты, которым никакая база не требуется, а обеспечение роста гарантируется размазыванием нагрузки по кластеру, а не приклеенными (sticky) сессиями. И я говорю не про десктоп.

При чем тут СУБД?

Соединение SortMergeJoin в Apache Spark

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров498

Рассмотрим, как реализован SortMergeJoin в Apache Spark, и заодно заглянем в исходный код на GitHub. Spark написан на языке Scala, и вся логика работы оператора доступна в открытом репозитории проекта.

Читать далее

Проблема мягкого удаления (deleted_at) и как её решить

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров11K

Привет, Хабр!

В этой статье рассмотрим классическую проблему «мягкого удаления» на уровне схемы баз данных и её влияние на аналитику.

Почти в каждой системе встречается требование «не удалять данные окончательно».

Читать далее

Ближайшие события

Neo4j. Графовая СУБД для RAG и не только

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров4.9K

Графовые СУБД, пожалуй, одни из самых специализированных хранилищ, существующих на корпоративном рынке. Neo4j при этом яркий представитель этой категории.

C Neo4j я познакомился ещё в далеком 2018-м году, в рамках задачи создания более приятной системы корпоративных знаний чем классические Wiki (некий такой корпоративный Obsidian), ну или основные его части. Это сейчас вы можете радоваться всем благам цивилизации, а в то далёкое время нам надо было очень внимательно относиться к структуре корпоративной базы знаний, т.к. даже поисковые алгоритмы часто оставляли желатель лучшего. Никакого вам ранжирования статей в выдаче по просмотрам и времени создания.

Но в целом с точки зрения базы знаний даже текущие варианты Wiki с ранжированием статей, отображением связанных, последних просмотренных, которые смотрят вместе и т.п. всё равно не решает вопрос оперативного поиска информации. А вот граф - уже другая история. Использовали Obsidian? Понравилось представление информации связанных заметок? Особенно если качественно проставлять связи. Собственно именно таким образом мы обычно и оперируем информацией. Табличная модель конечно удобна, но несколько более синтетическая история, которую придумали чтобы упростить себе жизнь, потому как оперировать графами технически всё-таки более сложная история.

Читать далее

CDC-компонент модуля репликации СинкЭксперт: сбор и синхронизация отчётной базы данных

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров2.5K

Привет, меня зовут Максим Рыбалко, я директор по управлению проектами Т1 Иннотех.

На текущий момент мы занимаемся разработкой для сотрудников банка фронтального приложения, в котором они смогут в одном окне видеть всю необходимую информацию, физически хранящуюся в трёх отдельных базах данных. В реализации самого приложения никаких особенностей и сложностей нет, чего не скажешь про его бэкенд.

Итак, задача, стоявшая перед нами — отобразить пользователю общую выборку данных, которые хранятся физически в отдельных кластерах БД.

Читать далее

Божественная K-V таблица для мелочей

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров6.7K

Во времена пика интереса к NoSQL базам данных простоватые K-V хранилища были несколько обойдены вниманием - отчасти это понятно, вещь не очень "инновационная", можно даже сказать старинная. В то же время своя "ниша" у них находится до сих пор (не считая того что они используются в более сложных БД в качестве индексов).

В то же время в обычной SQL-ной базе проекта порой "не хватает" такого общего K-V хранилища для разнородных (семантически) записей. В своих проектах я такую обычно завожу. Среди коллег этот подход порой вызывает негатив :)

Поясню ситуацию на примерах и попробую выписать "за и против" - а уважаемых знатоков приглашаю поделиться мнениями - особенно если у кого-то в схеме похожие таблички встречаются. Не для поиска несуществующей "истины", а ради дележа опытом и идеями.

Вперед, к примерам

Универсальный классификатор НСИ- правда или фантастика?

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров2.7K

Управление НСИ — оптимизация рабочих процессов. Основные задачи НСИ. Прикладные задачи. Классификация номенклатуры. Методы классификации НСИ. Основные критерии.

Читать далее

Разоблачение привилегий: как PAM помогает выявить скрытые риски

Время на прочтение5 мин
Количество просмотров1.2K

В статье расскажем о решении класса PAM (Privilege Access Management), а также рассмотрим, кто такие привилегированные пользователи и какую ключевую роль они играют в управлении доступом к критически важным системам и данным. Понимание особенностей этой роли и рисков, связанных с действиями привилегированных пользователей, является основой для разработки эффективных стратегий управления доступом и защиты информации.

Читать далее

Расшифровка черного ящика, или технический аудит базы данных перед сменой ERP-системы при полном отсутствии документации

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.6K

Реальный кейс анализа и технического описания базы данных клиента для осуществления корректной миграции на отечественное ERP-решение. Важным аспектом проекта было сохранение работоспособности всех систем, зависящих от исходной ERP-системы. В статье — опыт аудита OLAP-системы клиента.

Привет, Хабр! Меня зовут Анастасия Цацкина, я старший разработчик Отдела разработки баз данных IBS. В продолжение нашей серии статей о переезде с иностранных решений на отечественные, сегодня я хочу поделиться проектным опытом проведения полноценного аудита базы данных аналитической отчетности перед сменой ERP-системы. Расскажу, какая задача стояла, как выглядела архитектура баз данных заказчика, из каких этапов состоял аудит и что в результате всего этого получилось.

Читать далее

Создание конфигурируемого Webhook-модуля для NestJS-приложении

Время на прочтение93 мин
Количество просмотров1.9K

В рамках этой статьи я опишу создание двух NestJS-модулей с различным способом конфигурирования: утилитарный модуль и бизнес-модуль со своей базой данных.

Читать далее