Как стать автором
Обновить

Как мы провели встречи по NiFi. Видео и впечатления

Время на прочтение 2 мин
Количество просмотров 4K
Блог компании TINKOFF Big Data *Хранилища данных *Data Engineering *
Приветствую!

Все чаще я встречаю упоминания такого замечательного продукта, как Apache NiFi. Даже на Хабре за этот год появилось несколько статей об этом достаточно нишевом продукте.

Мы в Тинькофф уже более двух лет используем Apache NiFi и поэтому посвятили ему митап (сразу признаемся, что на проведение мероприятия нас подвигло сообщество телеграм-канала @nifiusers). Событие мы разбили на две части, которые проходили два четверга подряд.


Всего голосов 16: ↑16 и ↓0 +16
Комментарии 1

МКБ оптимизирует процессы с помощью интеграции данных

Время на прочтение 2 мин
Количество просмотров 394
Блог компании Московский кредитный банк

Московский кредитный банк (МКБ) совместно с DIS Group реализовал проект по внедрению ETL-платформы.

Новая интеграционная платформа объединила более 30 систем и значительно упростила построение аналитической и управленческой отчетности розничного и корпоративного блоков.

Внедренное интеграционное ETL-решение позволяет выполнять загрузку данных без использования аппаратных ресурсов корпоративного хранилища, тем самым высвобождая имеющиеся серверные мощности банка для решения более приоритетных задач, таких как совершенствование клиентского сервиса.

Читать далее
Всего голосов 6: ↑3 и ↓3 0
Комментарии 0

Ростелеком предлагает дистрибутивы своих продуктов управления данными бесплатно

Время на прочтение 2 мин
Количество просмотров 2.5K
Блог компании Ростелеком Big Data *Хранение данных *Hadoop *

Ростелеком выводит на российский рынок импортонезависимый freeware-дистрибутив RT.Datalake — специальную сборку одного из компонентов «Платформы управления данными», которая предназначена для организации эффективного хранилища больших данных. Российским компаниям предоставляется возможность бесплатно построить собственное озеро данных на отечественной, импортонезависимой сборке дистрибутива Hadoop без затрат на лицензионные взносы.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 3

Авторский курс по GreenPlum от администратора баз данных в Southbridge и ведущего инженера в Data Driven Lab

Время на прочтение 2 мин
Количество просмотров 492
Блог компании Southbridge

GreenPlum помогает компаниям с разными объёмами бизнеса извлекать реальную пользу из накопленных данных. Благодаря масштабируемости и скорости работы с данными он позволяет быстрее принимать бизнес-решения и повышает их качество.

19 сентября у нас стартует «DWH на основе GreenPlum» — авторский курс Ивана Чувашова, администратора баз данных в Southbridge и ведущего инженера компании Data Driven Lab. На нём Иван поделится знаниями в области хранилищ данных, которые собирал на протяжении 10 лет. Мы разберём основы устройства DWH и углубимся в GreenPlum — поломаем и починим его. А ещё поговорим об архитектуре и способах хранения данных, оптимизации запросов.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0

Vinpower представила зарядную станцию iXcharger GaN 65 Вт с 1TБ памяти для бэкапов

Время на прочтение 1 мин
Количество просмотров 897
Гаджеты Энергия и элементы питания

Vinpower анонсировала зарядную станцию iXcharger со встроенным хранилищем объёмом в 1 ТБ. Во время зарядки устройство делает резервную копию фотографий и видео с iPhone и iPad. Также его можно использовать как обычное внешнее хранилище.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 3

Видеокурс «DWH на основе GreenPlum» с 3 АМА-сессиями со спикером

Время на прочтение 3 мин
Количество просмотров 274
Блог компании Southbridge

Видеокурс «DWH на основе GreenPlum» с 3 АМА-сессиями от Ивана Чувашова, администратора баз данных в Southbridge и ведущего инженера компании Data Driven Lab.

На курсе вы узнаете, что такое DWH, СУБД GreenPlum и научитесь администрировать его: настраивать ресурсные группы, обеспечивать отказоустойчивость сегментов и мастер-ноды, делать балансировку данных между нодами и выбирать оптимальные конфигурационные параметры.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 0

МКБ начал переход на российскую платформу «Плюс7 ФормИТ»

Время на прочтение 2 мин
Количество просмотров 455
Блог компании Московский кредитный банк

Российская платформа «Плюс7 формИТ» обеспечит оптимальное наполнение корпоративного хранилища данных (КХД) в МКБ.

Читать далее
Всего голосов 6: ↑4 и ↓2 +2
Комментарии 0

Три статьи по Greenplum 7, рассказали, что нового

Время на прочтение 2 мин
Количество просмотров 235
Блог компании Southbridge

Выпустили три статьи по Greenplum и рассказали о рекурсии, наследовании и уникальных индексах для таблиц AO/CO

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 0

Analytic Workspace: эволюция продукта за 1 квартал 2023 г

Время на прочтение 2 мин
Количество просмотров 231
Блог компании БАРС Груп ERP-системы *Big Data *Визуализация данных *Хранилища данных *

20 апреля в 14:00 специалисты AW в прямом эфире расскажут об основных изменениях и новых функциях системы и покажут их в действии.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

Приглашаем на Cinimex BI Meetup в Воронеже (офлайн/онлайн)

Время на прочтение 1 мин
Количество просмотров 115
Блог компании Синимекс Анализ и проектирование систем *Визуализация данных *Хранение данных *Конференции

Привет Хабр, я с новым митапом :)
Меня зовут Антон, я занимаюсь развитием ИТ-бренда Синимекс в регионах.

Совсем скоро мы встретимся в Воронеже и поговорим о том, как бизнес своими глазами видит внедрение BI-систем и как технические специалисты оценивают и действуют при внедрении BI. Посмотрим на три варианта внедрения BI и пофилософствуем на тему будущего разделения труда, какие профессии будущего в BI нас уже ждут. 

Встречаемся 21 июня в 18:30 (по Мск) на площадке Saburov Hall
Начало митапа в 21 июня в 19:00
Также будет онлайн-трансляция на Youtube, зарегистрируйтесь, и мы пришлем вам ссылку.

Что вас будет ждать?

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

4-терабайтное хранилище данных от LaCie

Время на прочтение 1 мин
Количество просмотров 1.8K
Компьютерное железо
Компания LaCie представила Biggest Quadra — 4-терабайтное хранилище, предназначенное для резервного копирования данных. Новинка поддерживает возможность создания RAID-массивов уровней 0, 0+1 и 5.

Читать дальше →
Всего голосов 16: ↑12 и ↓4 +8
Комментарии 37

ioDrive от Fusion-io может заменить дисковые накопители

Время на прочтение 1 мин
Количество просмотров 762
Компьютерное железо
«Мощь SAN (Storage Area Network) в ладони», так заявляет компания Fusion-io о своем новом устройстве ioDrive. И не без основания. ioDrive – это плата расширения NAND флэш памяти с шиной PCI Express, которая работает как локальное хранилище данных. Главное в новинке (кроме установки в слот PCI Express x4, конечно) — это ее производительность, которая составляет 100000 операций ввода-вывода в секунду. А скорость чтения и записи, показанная при тестировании ioDrive, работающим в шасси HP BladeSystem c-Cl, составила 800 Мбит/с и 600 Мбит/с соответственно. Судя по всему, в очередной раз мы можем начинать обсуждение темы замены дисковых накопителей на что-то более совершенное, быстрое и надежное. В данном случае — на ioDrive.

Читать дальше →
Всего голосов 21: ↑20 и ↓1 +19
Комментарии 36

Составлен список десяти наиболее провальных проектов в сфере технологий

Время на прочтение 2 мин
Количество просмотров 670
Чулан
На сайте CNET News опубликован список десяти наиболее неудачных проектов в сфере информационных технологий и техники, многие из которых с треском провалились по тем или иным причинам.
Читать дальше →
Всего голосов 2: ↑0 и ↓2 -2
Комментарии 6

Древовидные СУБД

Время на прочтение 7 мин
Количество просмотров 3.4K
Чулан
Приглашаются к обсуждению все, имеющие опыт использования, в качестве хранилища данных, древовидных СУБД. Было бы полезно делится опытом разработки древовидных структур, описанием конкретики построения дерева индексов и алгоритмов полнотекстового поиска информации внутри хранилища данных.

Поскольку любая компьютерная система с целью оптимизации обмена производит обмен между памятью и диском в виде блоков, то атомарным элементом, хранящим данные на диске, является блок. Ни для кого не секрет, что многие СУБД (тот же ORACLE и MSSQL) фактически хранят данные в Б-деревьях. Б-дерево – это набор логически связанных блоков, выстроенных в иерархию, на каждом уровне которой определены блоки, у каждого из которых одинаковое количество уровней потомков. Описание алгоритма работы Б-дерева выходит за рамки данного блога.

Реляционный, объектный или прямой доступ обеспечивается логической моделью. Попробую предположить, что разумное использование логической модели данных, максимально приближенной к фактическому хранению – позволит более просто и быстро обрабатывать низкоуровневые данные, чем использование других логических моделей(SQL и пр.), хотя и существенно повышаются требования к уровню разработки механизмов доступа к данным. Возможно, что прямой доступ может быть представлен логическим деревом. Примером логического дерева данных – является глобал в СУБД Cache.

Приведу несколько примеров использования, из личного опыта, древовидных структур данных (глобалов).
Читать дальше
Всего голосов 19: ↑12 и ↓7 +5
Комментарии 24

Архитектура предметной области в CMF/CMS системах

Время на прочтение 6 мин
Количество просмотров 3.7K
Разработка веб-сайтов *
Практически любая информационная система характеризуется наличием системы хранения и оперирования данными. Возьмем, к примеру, обычные веб-сайты. Для их создания обычно используются какие-либо готовые системы (фреймворки или уже готовые CMS), в которых изначально уже заложена какая-то концепция по работе с данными, установившаяся предметная область. Обычно, если разработчик хочется добавить на сайте раздел новостей, он добавляет в интерфейсе CMS компонент, информационный блок, шаблон и т.п. Суть всех этих конструкций одна — создать сущность в БД для хранения (либо каком-то ином хранилище). В итоге имеется реляционная база данных и, зачастую, какой-то объектно-ориентированный обвес, реализующий связку объект-атрибуты-свойства-методы — реализуется предметная область.

Ниже пойдет речь об одном из вариантов архитектуры предметной области. Статья базируется на опыте работы в компании ADV, которая применяет подобные методы в разработке веб-проектов. Сложность изложенного материала позволяет понять его не только разработчикам ПО, но и веб-мастерам, которым надо периодически дорабатывать существующие веб-проекты, добавляя в них новые данные.

Самые простые системы позволяют лишь организовать хранилище, к которому разработчик в дальнейшем обращается и делает всю необходимую работу по обработке данных сам. В таком хранилище есть лишь объект, поля и данные. В более продвинутых системах между объектами появляются связи. Следующий уровень развития — взаимодействие объектов (триггеры, методы и т.п.), а так же наличие программной подсистемы, снимающую с разработчика часть забот по обработке данных.
Читать дальше →
Всего голосов 51: ↑45 и ↓6 +39
Комментарии 58

Data Mart vs Data Warehouse

Время на прочтение 2 мин
Количество просмотров 19K
Чулан
Некоторое время назад я начал разбираться в OLAP и в данном посте хочу проверить правильность собственных мыслей на счет этих двух понятий.
Читать дальше →
Всего голосов 2: ↑1 и ↓1 0
Комментарии 2

Mozart CMF: API, основанный на XML

Время на прочтение 10 мин
Количество просмотров 1.7K
Разработка веб-сайтов *
Итак, в своей первой статья я сделал несколько предположений об архитектуре предметной области в CMF/CMS системах. Тогда я сделал предположение об объектной модели я связанном с нею сервисе, который умел обрабатывать входящие запросы и выдавать нужный результат на основании внутренней структуры модели.

Сегодня, сейчас, я бы хотел коснуться вопроса непосредственного использования такой системы в существующем фреймворке Mozart, не так давно впущенном компанией ADV под лицензией GPLv3.

Основой API Mozart'а служат newt-контейнеры. Newt — это XML-контейнер (в XML-фрагменте), который специальным образом обрабатывается XML-парсером. Newt может быть как одиночным тэгом (закрытым тэгом <newt />), так и контейнером (содержит в себе другие контейнеры (newt'ы, инструкции)). Аналог newt'а — это функция, задачей которой является произвести какие-то действия (и вернуть результат, если требуется).

Читать дальше →
Всего голосов 27: ↑21 и ↓6 +15
Комментарии 14

Открытие бесплатного доступа и новые сервисы в Synchronet

Время на прочтение 2 мин
Количество просмотров 1.6K
Блог компании Синхро системс
В рамках данного поста, хотелось бы информировать хабрасообщество о нововведениях в нашем сервисе и рассказать тем кто не знает о нас, чем www.synchronet.ru может быть Вам полезен. Разумеется мы ждем Вашу конструктивную критику.

Итак, нововведения таковы:

Добавлен кросплатформенный клиент синхронизации файлов на JAVA(Бета)
Отключено ограничение срока эксплуатации бесплатной версии
Усовершенствована система предоставления доступа к данным
Исправлены известные недочеты и ошибки
Читать дальше →
Всего голосов 10: ↑6 и ↓4 +2
Комментарии 6

Box расширяет объёмы онлайн-хранилища

Время на прочтение 1 мин
Количество просмотров 621
Я пиарюсь
Сетевое хранилище и облачный сервис Box расширяет свои горизонты, увеличив размеры выделенных квот пользователям с бесплатной и платной подпиской.

Пользователи с бесплатной подпиской получили 5 Гб хранилища (вместо 1 Гб) при ограничении на размер файла в 25 Мб. Также можно за дополнительную плату увеличить размер хранилища 50 Гб (за 19,99$). Также можно увеличить объём загружаемого файла до 1 Гб. Загруженные файлы можно расшаривать через ссылки, а также существует мобильный доступ через приложение (Android, BlackBerry, iPad, iPhone, веб-клиент).

Если у вас компания с штатом более 3 сотрудников, то вы можете оформить бизнес-подписку с 500 Гб пространства и ограничением на загрузку файла размером в 2 Гб (15$/человек/месяц). Также добавляется синхронизация через клиент, интеграция с Google Apps и ряд других бонусов.

Корпоративным пользователям нужно заключать договор на получение неограниченного хранилища и дополнительных функций шифрования.

Если вы пользователь данного сервиса и не увидели никаких изменений, то нововведения касаются только новых пользователей. Уже зарегистрированные получат апгрейд в течение нескольких недель.

[Via CNET]
Рейтинг 0
Комментарии 0