Хранилища данных *

Давно хотел написать про то как я храню свои файлы, как делаю бэкапы, но все никак не доходили руки. Недавно тут появилась статья, в чем-то похожую на мою но с другим подходом.
Сама статья.

Я уже много лет пытаюсь найти идеальный для себя метод для хранения файлов. Думаю я его нашел, но всегда есть что улучшить, если есть какие-то мысли как сделать лучше, с удовольствием почитаю.

Начну с того что расскажу пару слов о себе,  я занимаюсь веб разработкой и в свободное время фотографирую. Отсюда вывод что хранить мне нужно рабочие и личные проекты, фото, видео ну и другие файлы.

У меня где-то 680 GB файлов, из них процентов 90 это фото и видео.

Круговорот файлов в моих хранилищах:

Тут примерная схема того как и где хранятся все мои файлы.

По словам аналитиков из IHS Markit, гибридные системы хранения данных (СХД) на базе HDD и SSD в этом году начнут пользоваться меньшим спросом. Обсуждаем сложившуюся ситуацию.


Фото — Jyrki Huusko — CC BY

В 2018 году на долю флеш-массивов пришлось 29% рынка систем хранения. На гибридные решения — 38%. IHS Markit убеждены, что в этом году SSD-накопители выйдут в лидеры. По их оценкам, доход от продаж флеш-массивов вырастет до 33%, а от гибридных — снизится до 30%.

Низкий спрос на гибридные системы эксперты связывают с сокращением рынка HDD. В IDC ожидают, что к 2021 году число производимых HDD снизится до 284 млн устройств — это на 140 млн меньше, чем три года назад. Объём рынка за тот же период сократится на 750 млн долларов. Statista подтверждает этот тренд, по данным аналитического ресурса, с 2014 года объем производимых HDD сократился на 40 млн устройств.

В мае RUVDS открыл новую гермозону в Германии, в крупнейшем финансовом и телекоммуникационном городе страны, Франкфурте. Высоконадёжный центр обработки данных Telehouse Frankfurt – один из дата-центров европейской компании Telehouse (штаб-квартира в Лондоне), которая в свою очередь является дочерней компанией глобальной японской телекоммуникационной корпорации KDDI.

О других наших площадках мы уже не раз писали. Сегодня расскажем подробнее о франкфуртском дата-центре.

Рынок распределенных вычислений и больших данных, если верить статистике, растет на 18-19% в год. Значит, вопрос выбора софта для этих целей остается актуальным. В этом посте мы начнем с того, зачем нужны распределенные вычисления, подробней остановимся на выборе ПО, расскажем о применении Hadoop с помощью Cloudera, а напоследок поговорим о выборе железа и о том, как оно разными способами влияет на производительность.

Всем привет! Как и обещали, публикуем результаты нагрузочного теста системы хранения данных российского производства – AERODISK ENGINE N2.

MAX Data объединят с Optane DC для эффективной работы с системами ИИ и МО.


Фото — Hitesh Choudhary — Unsplash

По данным исследования MIT Sloan Management Review и The Boston Consulting Group, 85% из трех тысяч опрошенных управленцев считают, что системы ИИ помогут их компаниям получить конкурентное преимущество на рынке. Однако что-то подобное пробовали реализовывать на практике всего 39% компаний.

Одна из причин сложившейся ситуации заключается в том, что эффективная работа с данными и оптимизация использования мощностей для задач машинного обучения — работа не из легких. В IDC отмечают, что разрешить ситуацию могла бы новая технология на базе постоянной памяти (Persistent Memory, PMEM).

Работаете с NoSQL-хранилищем Apache Cassandra?

23 мая Одноклассники приглашают опытных разработчиков в свой офис в Петербурге на митап, посвященный работе с Apache Cassandra. Важен лишь ваш опыт работы с Cassandra и желание им поделиться.
Зарегистрироваться на мероприятие

Cистема уменьшит расходы на электроэнергию в два раза.

/ фото Andy Melton CC BY-SA

Зачем нужна новая архитектура

По оценкам Data Centre Dynamics, к 2030 году электронные устройства будут потреблять 40% всей вырабатываемой на планете энергии. Приблизительно 20% от этого объема придется на ИТ-сектор и дата-центры. По данным европейских аналитиков, ЦОД уже «забирают» 1,4% всего электричества. Ожидается, что эта цифра вырастет до 5% к 2020 году.

Если использовать БД временных рядов (timeseries db, wiki) как основное хранилище для сайта со статистикой, то вместо решения задачи можно получить много головной боли. Я работаю над проектом, где используется такая база, и иногда InfluxDB, о которой пойдет речь, преподносила вообще неожиданные сюрпризы.

Немалое число Enterprise приложений и систем виртуализации имеют собственные механизмы для построения отказоустойчивых решений. В частности, Oracle RAC (Oracle Real Application Cluster) представляет собой кластер из двух или более серверов баз данных Oracle, работающих совместно с целью балансировки нагрузки и обеспечения отказоустойчивости на уровне сервера/приложения. Для работы в таком режиме необходимо общее хранилище, в роли которого обычно выступает СХД.

Как мы уже рассматривали в одной из своих статей, сама по себе СХД, несмотря на наличие дублированных компонент (в том числе и контроллеров), все же имеет точки отказа – главным образом, в виде единого набора данных. Поэтому, для построения решения Oracle с повышенными требованиями к надежности, схему «N серверов – одна СХД» необходимо усложнить.

В рамках данной статьи хотелось бы рассказать об особенностях работы All Flash массивов AccelStor с одной из популярнейших платформ виртуализации – VMware vSphere. В частности, акцентировать внимание на тех параметрах, которые помогут получить максимальный эффект от использования такого мощного инструмента, как All Flash.

Всем привет! Этой статьей компания AERODISK открывает блог на Хабре. Ура, товарищи!

В предыдущих статьях на Хабре были рассмотрены вопросы об архитектуре и базовой настройке СХД. В этой статье мы рассмотрим вопрос, который ранее не был освещен, но его часто задавали – об отказоустойчивости СХД AERODISK ENGINE. Наша команда будет делать все, чтобы СХД AERODISK перестала работать, т.е. ломать её.

SAP HANA — популярная in-memory СУБД, включающая сервисы хранилищ (Data Warehouse) и аналитики, встроенное промежуточное ПО, сервер приложений, платформу для настройки или разработки новых утилит. За счет устранения задержек традиционных СУБД с SAP HANA можно сильно увеличить производительность систем, обработку транзакции (OLTP) и бизнес-аналитику (OLAP).



Развернуть SAP HANA можно в режимах Appliance и TDI (если говорить о продуктивных средах). Для каждого варианта у производителя есть свои требования. В этом посте мы расскажем о преимуществах и недостатках разных вариантов, а также для наглядности — о наших реальных проектах с SAP HANA.

Исследователи из Microsoft и Вашингтонского университета продемонстрировали первую полностью автоматизированную систему хранения данных в искусственно созданной ДНК с возможностью считывания. Это ключевой шаг на пути к переносу новой технологии из исследовательских лабораторий в коммерческие центры обработки данных.

Разработчики подтвердили концепцию с помощью простого теста: успешно закодировали слово «hello» во фрагментах синтетической молекулы ДНК и преобразовали его обратно в цифровые данные, используя полностью автоматизированную сквозную систему, которая описана в статье, опубликованной 21 марта в Nature Scientific Reports.

Выборы, выборы, кандидаты — хостинги.

«Нам нужен новый хостинг», — осенило нашего шефа в начале весны. Это не было весенним обострением, это было объективной необходимостью, потому что старая кобра пережила свой яд предыдущий почему-то решил, что раз клиенты из-за 152-ФЗ идут сами, то можно предоставлять услуги кое-как и забить на SLA. И тут я узнал новое: хостингов очень много, а вот хостингов с приемлемыми характеристиками — поискать. И это я ещё не читал отзывы клиентов — вот где портал в ад!

Итак, я вооружился мозгом, Google, нашими требованиями и стал выбирать лучший VPS хостинг, с которым мы, вероятно, продолжим свою жизнь. В процессе выбора получилась неплохая аналитика, и я решил её частично выложить на Хабр — вдруг поможет такому же админу-страдальцу? Enjoy my work, как говорится.

KDB+, продукт компании KX — это широко известная в узких кругах, исключительно быстрая, колоночная база данных, предназначенная для хранения временных рядов и аналитических вычислений на их основе. Изначально она пользовалась (и пользуется) большой популярностью в индустрии финансов — ее используют все топ-10 инвестиционных банков и многие известные хедж-фонды, биржи и другие организации. В последнее время в KX решили расширить клиентскую базу и теперь предлагают решения и в других областях, где имеется большое количество данных, упорядоченных по времени или иным образом — телеком, биоинформатика, производство и т.д. В том числе они стали партнером команды Aston Martin Red Bull Racing в «Формуле 1», где помогают собирать и обрабатывать данные с датчиков болидов и анализировать тесты в аэродинамической трубе. В этой статье я хочу рассказать, какие особенности KDB+ делают ее сверхпроизводительной, почему компании готовы тратить на нее большие деньги, наконец, почему это на самом деле не база данных.
 

 

Недавно я узнал, что Red Hat удаляет поддержку MongoDB из Satellite (говорят, из-за изменений лицензии). Это заставило меня задуматься, что в последние несколько лет я видел кучу статей, как ужасна MongoDB и что никто никогда не должен её использовать. Но за это время MongoDB стала гораздо более зрелым продуктом. Что же случилось? Действительно ли вся ненависть объясняется ошибками в начале маркетинга новой СУБД? Или люди просто применяют MongoDB не там, где нужно?

Если вам вдруг кажется, что я защищаю MongoDB, пожалуйста, прочитайте дисклеймер в конце статьи.

Привет, Хабр! Я — сисадмин по вызову, а точнее, аутсорсер, который консультирует и обслуживает как частных лиц, так и организации разного профиля в плане IT-инфраструктуры. Это тяжёлая, нервная, почти бешеная работа, внутри которой я видел всё: от разлитой на ноут водки до падения серьёзных серверов в компаниях, которым на сервер денег хватило, а на мозги, способные его обслуживать, почему-то нет. Думаю, на Хабре не нужно долго объяснять, в чём заключается моя работа: когда-то я ушёл с позиции старшего сисадмина, чтобы не сильно смотреть в руки работодателю. Так-то я довольно опытный хмурый админ. Почти как в мемах.



Зуб даю, некоторые хостинг-провайдеры выглядят в лучшем случае так. В лучшем!

Алгоритмы RAID были представлены общественности в далеком 1987 году. По сей день они остаются наиболее востребованной технологией защиты и ускорения доступа к данным в сфере хранения информации. Но возраст IT технологии, перешагнувшей 30-ти летний рубеж, – это скорее не зрелость, а уже старость. Причиной является прогресс, неумолимо несущий в себе новые возможности. Во времена, когда фактически не было иных накопителей, кроме HDD, алгоритмы RAID позволяли наиболее эффективно использовать имеющиеся ресурсы хранения. Однако с появлением SSD ситуация коренным образом поменялась. Сейчас RAID при работе с твердотельными накопителями является уже «удавкой» на их производительности. Поэтому для раскрытия полного потенциала скоростных характеристик SSD просто необходим совершенно иной подход к работе с ними.

Любая операция с большими данными требует больших вычислительных мощностей. Обычное перемещение данных из базы на Hadoop может длиться неделями или стоить, как крыло самолёта. Не хотите ждать и тратиться? Сбалансируйте нагрузку на разные платформы. Один из способов – pushdown-оптимизация.

Я попросил ведущего в России тренера по разработке и администрированию продуктов Informatica Алексея Ананьева рассказать о функции pushdown-оптимизации в Informatica Big Data Management (BDM). Когда-то учились работать с продуктами Informatica? Скорее всего именно Алексей рассказывал вам азы PowerCenter и объяснял, как строить маппинги.

Алексей Ананьев, руководитель направления по обучению DIS Group

Что такое pushdown?

Многие из вас уже знакомы с Informatica Big Data Management (BDM). Продукт умеет интегрировать большие данные из разных источников, перемещать их между разными системами, обеспечивает к ним лёгкий доступ, позволяет профилировать их и многое другое.
В умелых руках BDM способен творить чудеса: задачи будут выполняться быстро и с минимальными вычислительными ресурсами.

Тоже так хотите? Научитесь использовать функцию pushdown в BDM для распределения вычислительной нагрузки между разными платформами. Технология pushdown позволяет превратить маппинг в скрипт и выбрать среду, в которой этот скрипт запустится. Возможность такого выбора позволяет комбинировать сильные стороны разных платформ и достигать их максимальной производительности.

Для настройки среды исполнения скрипта нужно выбрать тип pushdown. Скрипт может быть полностью запущен на Hadoop или частично распределен между источником и приемником. Есть 4 возможных типа pushdown. Маппинг можно не превращать в скрипт (native). Маппинг можно исполнить максимально на источнике (source) или полностью на источнике (full). Также маппинг можно превратить в скрипт Hadoop (none).