Data Warehouse: сравниваем подходы к хранению данных
На примере Data Warehouse рассказываем о подходах к хранению корпоративных данных и сравниваем альтернативные решения. Data Warehouse (DWH) — это централизованное корпоративное хранилище данных, в котором собирается, обрабатывается и хранится информация из разных источников. Его цель — предоставить единую и структурированную базу данных для анализа и принятия решений. В основе DWH лежит концепция предметно-ориентированной базы данных.
Чем Data Warehouse отличается от баз данных, Data Lake и Data Mart:
базы данных хорошо справляются с транзакциями, заточены под быстрые действия и работают с текущими, постоянно изменяющимися данными;
Data Lake — это хранилище, куда можно складывать данные «как есть»: структурированные, полуструктурированные и неструктурированные. Например, логи, изображения, JSON-файлы и многое другое;
Data Warehouse (DWH) — это усиленный уровень, предназначенный для аналитики. Данные сюда попадают после подготовки: проходят через процессы очистки, нормализации, трансформации и объединения;
Data Mart — «мини-DWH» для конкретной задачи. Этот инструмент обычно проще и меньше по объему, но может обновляться чаще и работать с более узкой, оперативной аналитикой.
На старте проектирования архитектуры важно разобраться в разнице между разными типами хранилищ — у каждого своя специфика и уровень зрелости. Подробнее о Data Warehouse и подходах к построению DWH читайте в базе знаний Облака Рег.ру.
Gran KMS: как AI-ассистент революционизирует управление знаниями
Привет, Хабр! Сегодня хотим поделиться крутыми новостями о том, как развивается система Gran KMS и какие возможности открывает интеграция AI-технологий в управление корпоративными знаниями.
Что нового?
AI-ассистент стал настоящим прорывом в функционале системы. Теперь мы можем обрабатывать огромные массивы текстовых данных практически мгновенно. Представьте: многомиллионная библиотека знаний, тысячи документов — и всё это анализируется за считанные секунды!
Решаем реальные проблемы
Каждый, кто работал с корпоративными знаниями, сталкивался с типичными проблемами:
Разрозненность информации — данные разбросаны по разным системам и форматам
Сложность редактирования — обновление контента превращается в квест
Медленный доступ — поиск нужной информации занимает слишком много времени
Новая версия Gran KMS решает эти проблемы на уровне архитектуры системы. AI-ассистент не просто ищет информацию — он анализирует контекст, объединяет данные из разных источников и выдаёт релевантные ответы.
Как это работает?
Интеллектуальная обработка позволяет:
Мгновенно анализировать тексты любой сложности
Находить ответы даже в самых запутанных документах
Консолидировать информацию из разнородных источников
Предоставлять структурированные ответы
Если вы занимаетесь управлением знаниями в компании — обязательно обратите внимание на эти обновления. AI-ассистент Gran KMS может стать настоящим помощником в вашей работе!
А как вы решаете проблемы с управлением корпоративными знаниями? Делитесь опытом в комментариях!
В интересное время мы живём. Вернулся намедни с конференции, полностью посвящённой AI-инструментам для бизнеса и параллельно начал читать книгу весьма любопытного китайца с юморным именем Кай-Фу Ли. Настоящие кайфули, а не обрыдшее деловое чтиво, это видно уже по первым страницам.
Давненько не попадалось таких насыщенных смыслами бизнес-изданий. Чуть ли ни каждая глава содержит квинтэссенцию глубоких мыслей продвинутого практика и стратегическое видение «человека мира», именно на уровне мира. Спорить не с чем, всё чётко разложено по полочкам. Мало того, всё, что было автором предсказано, уже происходит и именно так, как было описано. Книга, на секундочку, издана в России в 2019-м году, т.е., написана была значительно раньше. С удивлением узнал, что развивается AI ещё с 80-х, а основные вехи в его развитии приходятся на середину нулевых и одно из самых значимых событий произошло в 2012-м. Ничего про это не знал тогда, да и сейчас это стало для меня большим сюрпризом.
И ещё мне очень понравилось сравнение автором эпохи AI с эпохой внедрения человечеством электричества. И то и другое уже изменило облик и всё, что происходит на планете Земля, только изменения, которые привносит прямо сейчас AI, могут оказаться даже более глобальными в итоге, чем это было в случае с электричеством.
Что же стало ясно как божий день, когда почти месяц сам начал интенсивно пользоваться нейросетями, да ещё послушал/почитал умных людей, которые «в теме», что называется?
Экспертиза доживает свои последние годы. Затрудняюсь определить направление, где её ожидает хоть что-то позитивное в будущем. Сам опробовал на себе такие далекие друг от друга направления и темы, как молекулярная биология, туризм, нумизматика, ботаника, философия и др. И везде результат превзошёл ожидания за считанные минуты и несколько итераций. А, если «эксперт с 20-летним опытом» вдруг допустил какую-то оплошность или что-то недоглядел (галлюцинациями, вроде, это зовётся?), призываешь на помощь «эксперта с 40-летним опытом», даёшь ему возможность покопаться в деталях, и он обязательно находит все ошибки, начинает говорить на совершенно другом, выраженно профессиональном языке и источники приводит самые, что ни на есть релевантные. И так по всем проверенным лично направлениям. Где сам знаю вопрос досконально и могу оценить качество ответов.
Конкуренция в бизнесе тоже меняется на глазах. Вместо маркетинга, барахтания в «красных океанах» и всей этой бла-бла-бла в товарах и услугах, всему этому приходит на смену скорость внедрения AI во все сферы бизнеса. Кто быстрее и эффективнее это реализует, тот и выиграл в долгосроке в своей нише. Неважно, какой бизнес. Важно, что удачливого игрока ожидает: 1) Снижение себестоимости, которое не сможет побить ни один конкурент; 2) Персонализация невиданных доселе масштабов; 3) И, разумеется, полное отсутствие конкуренции на самой вершине. Это иногда даже монополией зовут. А кто не успел, тот уже точно не успел. Пора ползти в другом направлении…
Что решил для себя? Экстренно необходимо становиться горячим амбассадором и внедрять AI в работу везде и во всём, где это только возможно и приносит пользу. Завтра будет поздно, потому что все туда ринутся, пихаясь локтями.
А на бытовом уровне меньше чем за месяц обращений к бесплатной версии, я уже понял, что границ по знаниям не существует. Границы, по сути, определяются только тарифом и его лимитами. То новое, что даёт тариф за 20$, мне ещё только предстоит узнать.
На простой вопрос «Есть ли то, чего ты не знаешь?» AI ответил тоже простыми 5-ю пунктами, среди которых были личные данные, мои мысли и будущее. Делаю вывод, что всё остальное не вызывает у него особых сложностей.
А в конце AI издевательски добавил: «Если хочешь, можешь попробовать найти мой предел — задай что-нибудь каверзное». На этом моменте я впал в ступор...
👉 А если хотите узнать больше о сервисах для работы с данными, спросите нашего AI-помощника в личном кабинете. Он расскажет обо всех нюансах и подберет подходящий вам вариант.
В Облаке Рег.ру повысили лимит на количество баз данных — в 100 раз
В Облачной платформе Рег.ру обновили лимит на количество баз данных в кластерах DBaaS: теперь пользователи могут добавлять до 1000 баз. Расширили возможности системы в 100 раз для повышения гибкости и масштабируемости проектов пользователей.
Мы часто получаем запросы на развитие платформы, и этот релиз — результат обратной связи от наших клиентов. Спасибо вам!
Напомним, что в облаке Рег.ру доступно два вида управляемых БД — PostgreSQL и MySQL. Добавить новые базы данных в существующем кластере можно в личном кабинете, а узнать подробнее про возможности DBaaS — здесь.
ITFB Group совместно с Nexign, Sber Tech и Arenadata приглашают на вебинар, посвященный теме Датацентричность как стратегический приоритет: какие ИТ-инструменты помогут бизнесу принимать обоснованные решения?
Когда: 10 июля, 11:00
Где: онлайн
В рамках вебинара вас ждет уникальный формат:
Экспертные доклады
Живой круглый стол
Что обсудим:
Лучшие российские платформы для управления данными (ETL, BI, BigData)
Практические кейсы внедрения от Nexign, Arenadata и СберТех
Как измерить ROI от дата-стратегии и ускорить цифровую трансформацию
Спикеры:
Дмитрий Лемеш (Nexign) – интеграция данных для бизнеса
Антон Близгарёв (Arenadata) – BigData без сложностей
Владимир Федосеев (СберТех) – аналитика на автомате Модератор: Николай Чекин (ITFB Group)
Для кого?
→ ИТ-директора и директора по данным → Руководители цифровой трансформации → Специалисты по работе с данными (ETL, DWH, BI)
Сравнили реляционные СУБД с NoSQL (Not Only SQL) — альтернативными системами хранения и управления данными для лучшей обработки неструктурированной информации. Когда при работе с хаотичными данными мощности традиционных СУБД уже не хватает, такая альтернатива может быть разумной заменой.
Сопоставили отличительные черты NoSQL и SQL, и вот что получилось:
Подробный обзор NoSQL, особенности их использования, типичные сценарии и наглядные кейсы в рабочих проектах смотрите в базе знаний Облака Рег.ру.
Как уведомить Роскомнадзор об обработке персональных данных?
На Хабр вышла наша статья, прочтение которой поможет корректно подать уведомление в Роскомнадзор о намерении обрабатывать персональные данные. Особенно она будет полезна для ИТ-компаний и стартапов.
Делюсь с Вами разработанным мною шаблоном, для описания таблицы БД в PlantUML, c элементами автоматизации, описание которых указанно в комментариях.
Всем привет! Делюсь с Вами разработанным мною шаблоном, для описания таблицы БД в PlantUML, c элементами автоматизации, описание которых указанно в комментариях.
☁️ Провели главную IT-конференцию про облачные технологии и искусственный интеллект — GoCloud 2025. А пока мы готовим записи докладов, читайте об итогах конференции и о том, какой простор облачные и AI-технологии могут открыть для ваших IT-проектов в статье.
🦾 Рассказали про новые сервисы на платформе Cloud.ru Evolution. Например, теперь в коммерческом доступе Evolution Managed ArenadataDB — база данных на основе решения с открытым исходным кодом Greenplum, с которой можно хранить и обрабатывать большие объемы структурированных и полуструктурированных данных. Массово-параллельная архитектура (MPP) базы позволяет ускорять обработку данных даже в критически важных системах.
Подробнее обо всех новых сервисах, а также обновлениях на других наших облачных платформах читайте в дайджесте на сайте.
💼 В кейсе рассказали, как технологии искусственного интеллекта в облаке Cloud.ru помогли подготовиться к выходу на новый рынок Wildberries — самому крупному по обороту маркетплейсу в России.
💸 Перезапустили реферальную программу, чтобы вы могли с большей выгодой рекомендовать сервисы Cloud.ru клиентам, коллегам или друзьям. Теперь можно получить 20% от суммы чеков приведенных пользователей в первый год и 15% — в последующие годы. Регистрируйтесь в программе до 31 мая и приводите новых пользователей в течение трех месяцев. Участвовать могут самозанятые, ИП и юридические лица. Присоединиться.
📺 Провели вебинары, и их можно посмотреть в записи:
Завтра, 22 апреля, в 09:00 мск стартует ArenaDAY 2025 — крупнейшая конференция по управлению данными и аналитике. Мы понимаем, что в будний день не у всех получится включить видеотрансляцию, поэтому запускаем текстовую онлайн-трансляцию.
Вас ждёт:
Шесть тематических секций: «Бизнес-кейсы», «Продукты», «Гибридное хранилище», «Будущее», Data Governance и Investor Day; отдельная демозона с живыми показами решений и экосистемы Arenadata.
Кейсы от ВТБ, «Газпромнефти», МКБ, «Росатома», «Северстали», «МегаФона» и других лидеров.
Интерактивы и розыгрыши.
Сохраните этот пост в закладки — ровно в 09:00 здесь появится ссылка на текстовую трансляцию ArenaDAY. До встречи в онлайне!
Пока приватные сети можно добавлять только в новые бэкенд приложения + Docker и Docker Compose. Потом раскатаем на уже созданные аппсы и добавим возможность переноса между сетями.
Всем приготовиться, целых 3 новых версии баз данных уже в панели. Погнали с обзором:
MySQL 8.4. Тут и повышение производительности, и фиксы багов. А еще улучшения в механизмах репликации.
А для фанатов ClickHouse — х2, сразу два релиза:
➖ 24.8.14 LTS: обновленный тип JSON, механизм обработки таблиц для временных рядов данных, однократная обработка сообщений Kafka и, конечно же, улучшения оператора JOIN. И все в одном флаконе релизе.
➖ 25.1: улучшенные алгоритмы параллельного хэш-соединения, индексы MinMax на уровне таблицы, прокачанные таблицы слияния и функция автоматического увеличения.
Уже сейчас можно бежать в панель и тестить новые версии.
Расскажем как эффективно работать с большими таблицами в PostgreSQL и упростить задачи администрирования на онлайн-митапе.
25 марта в 11:00 приглашаем на бесплатный онлайн-митап «PGMeetup: Механизмы секционирования больших таблиц». Это вторая встреча из цикла «Работа с данными в Postgres Pro Enterprise», и она посвящена одной из важных тем для любого DBA, работающего с большими объемами данных – секционированию таблиц.
Чем этот вебинар будет полезен именно администратору баз данных?
Узнаете, как секционирование позволяет значительно повысить производительность запросов к большим таблицам, разгрузить вашу систему и сделать работу пользователей комфортнее.
Поймёте, как секционирование облегчает обслуживание больших таблиц, включая резервное копирование, восстановление и реорганизацию данных. Освободите свое время для более важных задач!
Разберётесь в возможностях секционирования Postgres Pro, включая декларативное секционирование и автоматизацию с помощью pgpro_autopart. Повысьте свою квалификацию и добавьте ценный навык в свой арсенал.
Получите практические знания о различных вариантах секционирования (hash, range, list), сценариях их применения и ограничениях. Применяйте проверенные решения в своей работе.
Выясните, как планировщик запросов Postgres Pro взаимодействует с секционированными таблицами, чтобы вы могли максимально эффективно использовать этот механизм.
Митап проведет Владимир Пудовченко, технический консультант Postgres Professional, эксперт с многолетним опытом работы с Postgres Pro.
Когда: 25 марта в 11:00 (онлайн, участие бесплатное по предварительной регистрации).
Формат: онлайн-трансляция на платформе PGConf (после мероприятия запись будет доступна).
Будет интересно и полезно администраторам баз данных, разработчикам и всем, кто работает с PostgreSQL.
Обновили курс DBA2 «Администрирование PostgreSQL 16. Настройка и мониторинг»
Компания Postgres Professional выпустила обновление курса DBA2 «Администрирование PostgreSQL 16. Настройка и мониторинг». Переработку и актуализацию материалов выполнили специалисты отдела образования Игорь Гнатюк и Илья Баштанов.
Обновлённая версия курса учитывает возможности, появившиеся в PostgreSQL 14, 15 и 16. Ряд тем был переработан, чтобы лучше отражать современные функции и возможности СУБД.
Этот курс – логичное продолжение DBA1. Если вы уже знакомы с основами PostgreSQL и Unix, то DBA2 – это следующий шаг. Он позволяет получить навыки, необходимые для:
тонкой настройки конфигурационных параметров с пониманием внутренней организации сервера;
эффективного мониторинга сервера с дальнейшей итеративной настройкой;
работы с параметрами, связанными с локализацией, управления расширениями и обновления сервера.
Структура курса охватывает широкий спектр тем: от работы с многоверсионностью и механизмами хранения данных до тонкостей журналирования и управления блокировками. Материалы построены так, чтобы теория переходила в практику на каждом этапе, помогая в решении реальных задач.
Чтобы пройти курс самостоятельно, рекомендуем сначала ознакомиться с руководством слушателя, где подробно описаны настройка рабочего места и даны рекомендации по выполнению практических заданий. Вы сможете сразу погрузиться в процесс, не отвлекаясь на подготовительные моменты.
🚀 Как выжать 1,5 миллиона IOPS из базы данных в облаке? Расскажем на бесплатном вебинаре
Приглашаем DBA-инженеров, системных администраторов, DevOps-инженеров и всех, кого интересует работа с облачными базами данных. На практических кейсах и расчетах покажем, как одновременно в 10 раз увеличить производительность баз данных (до 1,5 млн IOPS) и сократить расходы на инфраструктуру почти вполовину. Регистрируйтесь и подключайтесь из любой точки мира 13 марта в 11:00 (МСК).
Что будет на вебинаре
🔹 Сравним выделенную инфраструктуру с классическим облаком.
🔹 Расскажем про подбор железа и оптимизацию ОС для максимальной производительности облачных баз данных.
🔹 Поделимся сравнением производительности баз данных на выделенном облачном сервере с аналогичными сервисами.
🔹 Покажем, как сократить расходы на инфраструктуру для баз данных практически вполовину.
Orion soft обновил промышленную СУБД для высоконагруженных систем Proxima DB
Что нового в версии Proxima DB 3.1:
Мониторинг производительности в UI в режиме реального времени — поможет молниеносно выявлять и проводить траблшутинг зависших запросов, что особенно важно для бизнес-критичных систем
Proxima DB Advanced — полноценная платформа, которая поддерживает совместимость с СУБД на базе PostgreSQL
Возможность развернуть СУБД в контейнерной среде «по клику» за секунды из UI — облегчит и ускорит работу с СУБД в компаниях с собственной разработкой
Подробнее о новых фичах и исправлениях расскажем на вебинаре 12 марта.
Присоединяйтесь! Регистрация на вебинар — по ссылке.
Также в планах — развивать шардирование, геокластеры и дополнять продукт новыми функциями мониторинга (например, рекомендации по оптимизации производительности, карта фрагментирования объектов, интерактивный мониторинг репликаций, мониторинг шардирования).
Задача будет полезна начинающим и опытным специалистам по информационной безопасности, а также всем, кто хочет защитить свои данные.
Условие
В компании «ТехноБезопасность» недавно всплыла неприятная ситуация: один из сотрудников каким-то образом заходит под аккаунтами других пользователей.
Специалист по безопасности Дин Завров начал расследование. Изначально он предполагал, что утечка вызвана атаками XSS или CSRF, но лид фронтенд-разработки заверил: подобные уязвимости исключены. Тогда Дин пошел к бэкенд-разработчикам и девопсам, но и они не смогли помочь. Пришлось ему самостоятельно перебирать все популярные варианты утечки паролей.
Задача
Определите, какими способами внутри компании мог произойти несанкционированный доступ к чужим аккаунтам. Предположения о фронтенд-уязвимостях (XSS/CSRF) исключены.
Важно учесть все варианты, связанные с неправильным хранением паролей, секретов, бэкапов и логов.
Делитесь своими ответами в комментариях. А проверить себя можно в Академии Selectel →
В США нашли получателя пособий возрастом 360 лет и несколько миллионов американцев старше 120 лет, которые также сидят на госвыплатах. Такой список опубликовал Илон Маск. «Возможно, „Сумерки“ реальны, и здесь много вампиров, которые получают социальные пособия», — написал Маск.
Администрирование баз данных 1С — задача довольно распространенная. Другое дело, когда в вашей инфраструктуре 6 500 таких баз и 4 000 пользователей. И все это должно быстро и стабильно работать, резервироваться, восстанавливаться и иметь защиту от внешних угроз. С таким запросом в Selectel обратился сервис Альтап.
В кейсе рассказываем, как компания:
подобрала оптимальные конфигурации выделенных серверов для 1С и баз данных,
обеспечила надежное хранение резервных копий баз данных,
защитила сервис от DDoS-атак и других угроз из интернета.