Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Разговоры и трафик россиян предлагают хранить только на российском оборудовании

Хранилища данных *Законодательство в IT Компьютерное железо
Минкомсвязи разработало поправки к правилам хранения данных по «закону Яровой», которые предусматривают использование только российского оборудования. Разумеется, правила не затрагивают комплектующие иностранного производства (HDD, процессоры и проч.). Но сборка должна осуществляться на российской территории.

Поправки опубликованы на портале нормативных правовых актов и по сути очень лаконичны: всего три абзаца текста (под катом).
Читать дальше →
Всего голосов 25: ↑21 и ↓4 +17
Просмотры 17K
Комментарии 83

Seagate заявила, что не использует жёсткие диски с SMR для сетевых хранилищ

Хранение данных *Хранилища данных *Компьютерное железо Накопители


На прошлой неделе стало известно, что производители жёстких дисков, включая компании Western Digital, Seagate и Toshiba скрывали от пользователей информацию о том, что в их накопителях используется технология записи SMR, из-за чего некоторые жёсткие диски оказались несовместимы с сетевыми хранилищами NAS. Теперь компания Seagate утверждает, что не использует данную технологию в накопителях для NAS.
Читать дальше →
Всего голосов 11: ↑8 и ↓3 +5
Просмотры 11K
Комментарии 15

Новые твердотельные диски для серверов HP

Блог компании Hewlett Packard Enterprise
SSD диск HP второго поколенияВ сентябре наша компания начала поставки уже второго поколения твердотельных дисков (Solid State Disk, SSD) для серверов HP Proliant. За год, прошедший с первого внедрения SSD в серверах HP, появилось несколько возможностей обойти недостатки этой технологии, которые все еще делают ее путь к сердцам массовых заказчиков таким тернистым.

Первый из недостатков – в расчете на гигабайт данных твердотельные диски сегодня стоят значительно дороже обычных жестких дисков. Эту болезнь роста можно лечить только одним способом – повышением плотности записи и объемов производства дисков. Это мы и сделали: теперь у нас в арсенале диски на 60 и 120 Гб.

Второй недостаток SSD – это более низкое, чем у магнитных жестких дисков, максимальное число циклов чтения/записи, что особенно сильно бьет по устройствам, обслуживающим приложения с интенсивной обработкой данных.

Для отсрочки выхода накопителя из строя производители дисков сегодня реализуют на уровне микрокода алгоритмы равномерного распределения нагрузки между ячейками памяти, а также рекомендуют закупать диски с запасом емкости и использовать их только там, где в основном идет чтение данных (анализ данных финансовых транзакций в реальном времени, САПР, 3D и т.п.).
Читать дальше →
Всего голосов 27: ↑23 и ↓4 +19
Просмотры 10K
Комментарии 31

Интервью с Майклом Стоунбрейкером

Я пиарюсь
Перевод
Рассел Гарленд (Russell Garland), WSJ

Майкл Стоунбрейкер (Michael Stonebraker) при создании новой компании не стремится к большой прибыли, вместо этого он думает о развитии идеи, которая может революционизировать целую отрасль.

Из Википедии: Стоунбрейкер является экспертом по базам данных и профессором Массачусетского технологического института. Он также предприниматель, соучредитель восьми компаний.

Некоторые из этих стартапов уже были приобретены, в том числе самый первый, Ingres Corp., и, например, компания Vertica в настоящее время приобретена Hewlett-Packard, сумма сделки не разглашается. Одна из нескольких должностей в настоящее время − директор по технологиям (CTO) в Paradigm4 Inc., секретном стартапе, развивающем аналитику для массивных наборов данных.

Стоунбрейкер работал с рядом известных венчурных компаний, в их числе Accel Partners, Bessemer Venture Partners, Highland Capital Partners, Kleiner Perkins Caufield & Byers, New Enterprise Associates и Sigma Partners.

Майкл является одним из ведущих мыслителей следующей волны инноваций в хранилищах данных (как в управлении, так и в аналитике), которая получила название «большие данные» (“big data”). Недавно он модерировал обсуждение по этому вопросу на мероприятии, организованном Массачусетским Советом технологических лидеров (the Massachusetts Technology Leadership Council).

Мы говорили с Майком Стоунбрейкером о предпринимательстве и его проектах. Вот отредактированное
интервью:
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 1.5K
Комментарии 1

Соединение исторических таблиц

SQL *Big Data *
Из песочницы
Время от времени мне приходится сталкиваться с задачами, когда нужно в рамках имеющейся СУБД выполнить соединение двух и более исторических таблиц между собой, да так, чтобы получить красивые исторические интервалы на выходе. Зачем? Чтобы отчет смог правильно отобразить данные на выбранную пользователем дату, или приложение подтянуло в себя эти данные для обработки.
Часто коллеги и братья по цеху сталкиваются с подобными задачами и советуются как лучше их решить.
В этой статье я хочу поделиться опытом как решались различные ситуации подобного типа.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 2.9K
Комментарии 3

Big Data – почему это так модно?

Big Data *Hadoop *
Из песочницы
Технологии Big Data сегодня очень популярны, о чем говорит хотя бы то, что на текущий момент это наиболее часто встречающийся термин в IT-публикациях. Достаточно посмотреть на статистику таких известных поисковых систем, как Google или Yandex по словосочетанию «Big Data», и становится понятным, что так называемые «Большие Данные» действительно сейчас можно назвать одним из самых востребованных и интересных направлений развития информационных технологий.

Так в чем же секрет популярности этих технологий и что означает термин «Big Data»?
Читать дальше →
Всего голосов 25: ↑14 и ↓11 +3
Просмотры 10K
Комментарии 3

Тестирование производительности различных конфигураций Swift OpenStack

Блог компании Mirantis/OpenStack Open source *
Для тех, кто еще не знаком с объектным хранилищем данный Swift OpenStack, общая информация о структуре и алгоритмах уже была приведена в нашем блоге: habrahabr.ru/company/mirantis_openstack/blog/176195, habrahabr.ru/company/mirantis_openstack/blog/176455.
Читать дальше →
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 4.4K
Комментарии 0

Еще один NAS своими руками, часть 1: из того, что было

Open source *
Из песочницы

Аннотация


В среднем, очередной пост про NAS появляется примерно раз в полгода, и рассказывает о том, как поставить систему по документации. Мы усложним задачу, привязав ее к реальному проекту и ограничив бюджет. Кроме того, мы еще и попытаемся подстелить себе соломку в тех местах, куда не еще не ступала нога молодого сисадмина, а также разрушим несколько отраслевых мифов.

Эта статья не для специалистов по серверному хранению данных, геймеров и прочих оверклокеров. На вас, коллеги, и так вся индустрия работает. Она для начинающих сисадминов, любителей UNIX-систем и энтузиастов свободного программного обеспечения. У всех накопилось старое железо. Всем нужно хранить большие объемы дома или в офисе. Но далеко не у всех есть простой доступ к серверным технологиям.

Я очень надеюсь, что вы найдете для себя несколько полезных идей и все-таки научитесь на чужих ошибках. Помните: система стоит не столько, сколько вы заплатили за железо, а сколько вы вложите потом времени и сил в тестирование и эксплуатацию.
Если не хотите читать — посмотрите ссылки и выводы в конце; может, и передумаете.

DISCLAIMER


Информация предоставляется AS-IS без какой-либо ответственности за ее использование кем-либо, где-либо и когда-либо. Все ненароком упомянутые торговые марки являются собственностью соответствующих владельцев. Некоторые из них в рекламе уже настолько не нуждаются, что я придумываю им шуточные названия.

Благодарности


Респект Андрею Александровичу Бахметьеву, инженеру и изобретателю. Я горд, что Андрей Александрович преподавал для меня в институте! Желаю ему всяческих успехов в его проектах!

Задача


Итак, есть малый бизнес-стартап, генерирующий порядка 50Гб файлов в неделю, с необходимостью их архивного хранения в течение нескольких лет. Файлы крупные (порядка 10-20 Мб каждый), обычными алгоритмами не сжимаемые. Начальный объем данных порядка 2Тб. Совсем старые данные можно хранить в оффлайне, подключая по требованию.
Нужно уложиться в весьма скромный начальный бюджет решения 500 евро (в ценах лета 2013) и двухнедельный срок на сборку и тестирование.

За эти деньги нужно построить систему, которая позволит работать с файлами небольшой группе в одной локальной сети с разных платформ (Windows, Mac OS). Требуется длительная работа без сисадмина на площадке, защита от отказов и базовые функции управления правами доступа.

Традиционные пути


Безусловно, можно купить сетевое хранилище: их делают NetApp, QNAP, Synology и другие игроки, и притом делают неплохо даже для малого бизнеса. Но наши 500 евро – это только начало разговора для пустой коробки, без самих дисков. Если у вас есть 1000-2000 евро, лучше купите готовое изделие, а мы попробуем максимально заплатить знаниями и минимально — временем и деньгами.

UPD (спойлер ред. 2 от 2014-03-08):
Если собираете из нового железа, а не из хлама
По совокупности этого поста и его комментариев, любезно предоставленных хаброкомьюнити, предлагаю следующий алгоритм для простой четырехдисковой системы:
  1. Если двойного размера самой ёмкой из доступных моделей диска не хватает для хранимых данных, прекращаем читать спойлер (пример: модель 4Тб, требуется хранить 7Тб данных, тогда продолжаем; если требуется хранить 10Тб, тогда прекращаем)
  2. Выбираем изделие из линейки MicroServer известного производителя серверов Харлампий-Панкрат; например, n36l, n40l, n54l, с четырьмя отсеками для дисков (главное, чтобы была поддержка ECC-памяти)
  3. Обязательно комплектуем наш сервер памятью с контролем четности (ECC) из расчета 1Гб на каждый 1Тб хранимых данных, но не менее 8Гб (по рекомендации FreeNAS для дисков до 4Тб получается как раз всего 8Гб)
  4. Если у нас нет ECC-памяти, немедленно прекращаем читать этот спойлер, читаем пост до конца
  5. Выбираем производителя дисков, используя актуальный обзор отказов; например, вот этот: http://habrahabr.ru/post/209894
  6. Выбираем недорогую линейку SATA дисков с обязательным наличием ERC, а зачем, читаем здесь: http://habrahabr.ru/post/92701
  7. Выбираем ёмкость дисков (2Тб, 3Тб или 4Тб) из расчета, что их будет четыре, и что доступной для данных будет только половина (вторая половина на избыточность RAID)
  8. Перед закупкой еще раз внимательно и досконально проверяем совместимость железа между собой, количества слотов, отсеков, планок и прочего, но для FreeNAS самое главное — поддержка всего железа актуальным ядром FreeBSD
  9. Выбираем хорошую загрузочную флэшку, прочитав продолжение данного поста (часть 2: хорошие воспоминания)
  10. Закупаем, вдыхаем ароматы нового железа, собираем, подключаем, запускаем; для ZFS обязательно выключаем все аппаратные RAID'ы
  11. Создаем том RAIDZ2 из четырех дисков, обязательно с двойной избыточностью (на размерах тома около 12Тб есть риск повстречать злобного URE, читайте о нем в этом посте; если мы не боимся URE и все-таки собираем RAIDZ на четырех дисках, проверяем размер физического сектора — на современных дисках он 4Кб, и в этом случае получится совершенно нелепый страйп 43Кб, который еще и просадит нам скорость массива: forums.servethehome.com/hard-drives-solid-state-drives/30-4k-green-5200-7200-questions.html)
  12. Соль, сахар, перец, jail'ы, шары, скрипты и тому подобную сметану добавляем по вкусу



А как же облачное хранение, спросите вы? На момент написания этой статьи популярные облачные хранилища для наших объемов выглядят дороже, чем хотелось бы. Например, стоимость хранения неограниченного объема данных 36 месяцев на известном сервисе Брось Бокс обойдется в пару тысяч долларов с лишним, хотя и выплачивать их можно постепенно. Конечно, есть сервисы вроде Amazon Glacier (благодарю А.М. за подсказку) или Ажурных Окон, но, во-первых, они тарифицируют не только хранение, но и обращение (как его априорно подсчитать?), а во-вторых не будем забывать, что бизнес сидит на Интернет-аплинке 10Мбит, и маневры терабайтами потребуют не только определенных усилий по управлению процессами, но и будут весьма утомительными для пользователей.

Обычно в таких случаях берут старый компьютер, докупают большие диски, ставят Linux (не обязательно, кто-то ухитряется и Windows 7), делают массив RAID5. Отлично. Всё работает хорошо примерно полгода-год, но одним солнечным утром сервер вдруг пропадает из сети без всякого предупреждения. Конечно, сисадмин уже давно работает в другой фирме (текучка кадров), резервной копии нет (объемы слишком велики), а новый сисадмин починить систему не может (при этом на чем свет стоит ругает старого сисадмина и диалект Linux YYY, ведь надо было использовать Linux ZZZ, тогда проблем бы точно не было). Все эти истории повторяются давно и одинаково, меняются только версии ОС и растут объемы данных.

Отраслевые мифы


Миф о RAID5

Самый распространенный миф, в который я и сам верил до недавнего времени – это то, что второго подряд отказа в массиве на практике не может быть по теории вероятности. А вот и может, да еще как! Смоделируем реальную ситуацию: сервер проработал пару лет, после чего в массиве отказывает диск. Пока ничего страшного, ставим новый диск, и что происходит? Ага, реконструкция массива, т.е. длительная максимальная нагрузка на уже порядком изношенные диски. В такой ситуации отказы очень даже возможны и происходят.
Но это не все. Есть еще заложенная производителем методическая вероятность ошибки чтения, которая при определенных обстоятельствах сейчас уже практически гарантирует, что RAID5 после отказа диска обратно не соберется.
Читать дальше
Всего голосов 123: ↑100 и ↓23 +77
Просмотры 218K
Комментарии 116

Флэш-память для загрузки FreeNAS и прочих embedded OS

Open source *

Аннотация


Анализ ошибок и технических сбоев — традиционно наименее раскрытая и наиболее интересная тема, которая как раз и показывает, насколько удачная была инженерная идея. Построив некоторое время назад сервер NAS из старого железа, мы начинаем анализ происходивших с ним отказов. В этой статье речь пойдет об отказах из-за загрузочной флэшки и их вероятных причинах. Даны рекомендации по выбору флэш-памяти. Отчасти применимо и к другим встраиваемым системам, например, бытовым видеорегистраторам.

Еще один NAS своими руками, часть 2: хорошие воспоминания*


*Рекламный слоган одного известного производителя памяти звучит «Good memories start here».

Практически все специалисты рекомендуют при выборе загрузочной флэшки не экономить и не использовать популярный бренд noname. Несмотря на корневую файловую систему FreeNAS версии 9 в режиме read-only, потребительские USB-флэшки компактного дизайна за полгода отказывали дважды, в обоих случаях примерно спустя пару месяцев эксплуатации. Причем оба использованных бренда, по мнению некоторых опрошенных представителей отрасли, вполне адекватные и уважаемые, в поставке откровенного брака незамеченные.


На фото: два вполне адекватных представителя крохотных флэшек на 8Гб и 16Гб

В чем же дело? Бесконечен ли ресурс чтения флэш-памяти? Попробуем разобраться.
Читать дальше
Всего голосов 95: ↑95 и ↓0 +95
Просмотры 114K
Комментарии 54

Ещё один NAS своими руками, часть 3: приключения XXX в старой башне

Системное администрирование *
Tutorial
Интересно, мечтал ли кто-нибудь в детстве затолкать десяток шпиндельных дисков в свой домашний ПК и вообразить себя бравым Командиром Сервера? Что же, после цехов ИКМ, узлов космической связи, кабельных жгутов толщиной с баобаб, ЦОДов разных мастей и прочих весьма насыщенных железом помещений детские мечты, наконец, сбываются.
Но просто воткнуть десяток шпинделей в «башню» недостаточно, их ещё надо раскрутить, обдуть, залить файловой системой, предоставить доступ, разграничить права и потом ещё следить за здоровьем. Мы расскажем довольно подробно, как это сделать с комфортом для себя. При этом мы не станем петь молебны очередному серверному корпусу известной марки СтупорМиксер, а выступим в жанре рационального минимализма с железякой за $30 и сосредоточимся на софте и полезных мелочах. Ещё из этого поста читатель узнает о том, куда пропадает почти половина мощности у обычного блока питания, о волшебстве телеметрии, о некоторых стилях юниксового кунгфу, о кучерявом разграничении прав доступа без ACL (да, бывает и такое!) и к чему приводит использование старых дисков в новых серверах. Пасхальные яйца и обещанная история XXX рассеяны по посту;-)

Но сперва я хочу рассказать, как деталь стоимостью менее $1 может «испортить» диск за $100. Это весело, обещаю.
Читать дальше →
Всего голосов 47: ↑44 и ↓3 +41
Просмотры 70K
Комментарии 34

Тестирование хранилищ данных

Блог компании TINKOFF Тестирование IT-систем *

Публикуется от имени IvanovAleksey.



В интернете мало информации по тестированию Data Warehouse.
Можно найти общие требования: полнота данных, качество и т.п.
Но нигде нет описания организации процесса, и какими проверками можно покрыть эти требования.
В этой статье постараюсь рассказать: как мы тестируем Хранилище данных в "Тинькофф Банк".

Читать дальше
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 19K
Комментарии 6

Варианты повышения энергоэффективности от Coolan, MacroAir, AMCA International и Cradle

Блог компании ua-hosting.company
Компании всячески стремятся повысить энергоэффективность инфраструктуры центров обработки данных. Для этого инженеры и операторы ЦОД используют всевозможные средства, разрабатывают и внедряют инновационные технологии. Одни компании открыто делятся своими достижениями в данной области, другие же держат в тайне проекты по улучшению инфраструктуры серверных фермы. Но существует категория компаний, которые не имеют собственных дата центров и зарабатывают на том, что продают технологические наработки и изобретения клиентам или владельцам ЦОД. В посте пойдет речь о предложенных вариантах решений таких компаний в сфере повышения энергоэффективности дата центров.



Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 1.9K
Комментарии 0

Виртуальная реальность в проектировании дата центров

Блог компании ua-hosting.company
В последнее время искусственная, или виртуальная, реальность (VR) все более распространяется в сфере потребительской электроники, а также в обрабатывающей промышленности, здравоохранении, образовании и т.д. Но в индустрии ЦОД данное направление практически не применяется, не взирая на то, что именно серверы отвечают за визуализацию контента, отображаемого большинством гарнитур виртуальной реальности.



Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 7.2K
Комментарии 1

Охлаждение ЦОД: опыт Bluon Energy, Emerson, Star Refrigeration, Asetek и CoolIT Systems

Блог компании ua-hosting.company
Технологический процесс стремительно развивается, создаются новые технологии и усовершенствуются разработки. Тем ни менее для большинства операторов и владельцев ЦОД до сих пор остается актуальной проблема выбора наиболее подходящей системы охлаждения дата-центров. На оптимизацию температурного режима серверов расходуется слишком много электричества (вплоть до 40-50 процентов от общего энергопотребления ЦОД). В то же время немалых денег стоит и повышение эффективность систем охлаждения серверных ферм. И поэтому компании постоянно бьются над решением данной задачи. Системы и стратегии охлаждения также с каждым разом совершенствуются. Это происходит как благодаря состоятельным владельцам дата-центров, вроде корпорации Microsoft (инженеры компании подумывают о том, чтобы разместить автономный дата-центр на дне Тихого океана), так и благодаря отдельным вендорам, которые тратят часть своей прибыли на исследования и разработки данной отрасли. С общими усилиями рынок систем охлаждения ЦОД движется вперед.

Ниже описаны рекомендации и новости по-поводу охлаждения дата-центров от компаний: Bluon Energy, Emerson, Star Refrigeration, Asetek и CoolIT Systems.



Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 4.4K
Комментарии 1

Повышение энергоэффективности дата-центров: опыт Apple, Google, Microsoft, Active Power и Burland Energy

Блог компании ua-hosting.company
На обеспечение эффективной работы дата-центров тратится очень много электроэнергии. Поэтому электричество является одной из основных статей затрат владельцев ЦОД. И эти расходы постоянно растут, поскольку появляются новые и новые хранилища данных. Увеличение энергопотребления влечет за собой повышение расходов на эксплуатацию вычислительной инфраструктуры. Также усугубляется проблема загрязнения окружающей среды из-за выработки дополнительной электроэнергии.

В посте описаны варианты повышения энергоэффективности дата-центров от ведущих корпораций.



Читать дальше →
Всего голосов 19: ↑16 и ↓3 +13
Просмотры 6.2K
Комментарии 3

Облачное хранилище: новые функции API

Блог компании Selectel Высокая производительность *Программирование *API *Go *


Недавно мы рассказали о переходе на новую платформу, благодаря которой нам удалось улучшить работу облачного хранилища. Мы подробно описали, как мы доработали логику и архитектуру хранилища и переписали некоторые компоненты на Go, благодаря чему всё стало работать гораздо быстрее и стабильнее, чем раньше.

При этом мы рассказали далеко не обо всём: за время работы над API мы запустили несколько новых функций, которые, как мы надеемся, окажутся полезными для вас.
Читать дальше →
Всего голосов 23: ↑18 и ↓5 +13
Просмотры 6.9K
Комментарии 7

Как применение кодов избыточности в SDS помогает Яндексу дёшево и надёжно хранить данные

Блог компании Яндекс Облачные вычисления *Восстановление данных *Хранение данных *Хранилища данных *

Яндекс, как и любая другая большая интернет-компания, хранит много, а точнее очень много данных. Это и пользовательские данные из разных сервисов, и намайненные сайты, и промежуточные данные для расчёта погоды, и резервные копии баз данных. Стоимость хранения ($/ГБ) — один из важных показателей системы. В этой статье я хочу рассказать вам про один из методов, который позволил нам серьезно удешевить хранилище.




В 2015 году, как вы все помните, сильно вырос курс доллара. Точнее, расти-то он начал в конце 2014-го, но новые партии железа мы заказывали уже в 2015-м. Яндекс зарабатывает в рублях, и поэтому вместе с курсом выросла и стоимость железа для нас. Это заставило нас в очередной раз подумать о том, как сделать, чтобы в текущий кластер можно было положить больше данных. Мы такое, конечно, делаем регулярно, но в этот раз мотивация была особенно сильной.


Каждый сервер кластера предоставляет для нас следующие ресурсы: процессор, оперативную память, жёсткие диски и сеть. Сеть здесь — более сложное понятие, чем просто сетевая плата. Это ещё и вся инфраструктура внутри дата-центра, и связность между разными дата-центрами и точками обмена трафиком. В кластере для обеспечения надёжности применялась репликация, и суммарный объём кластера определялся исключительно через суммарную ёмкость жёстких дисков. Нужно было придумать, как обменять оставшиеся ресурсы на увеличение места. Кстати, если после поста у вас останутся вопросы, которые бы вы хотели обсудить лично, приходите на нашу встречу.


Читать дальше →
Всего голосов 74: ↑71 и ↓3 +68
Просмотры 20K
Комментарии 19

Обработка и хранение данных: от древности до ЦОДов

Блог компании SAFEDATA Облачные вычисления *Резервное копирование *Хранение данных *Хранилища данных *
Наше время часто называют информационным веком. Однако информация была критически важна для рода человеческого на протяжении всего его существования. Человек никогда не был самым быстрым, самым сильным и выносливым животным. Своим положением в пищевой цепи мы обязаны двум вещам: социальности и способности передавать информацию более чем через одно поколение.


То, как информация хранилась и распространялась сквозь века, продолжает оставаться буквально вопросом жизни и смерти: от выживания племени и сохранения рецептов традиционной медицины до выживания вида и обработки сложных климатических моделей.
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 9.9K
Комментарии 5

Восхождение дата-инженера

Блог компании Inoventica Services Администрирование баз данных *Хранение данных *Хранилища данных *Data Engineering *
Перевод
image

Я присоединился к команде Facebook в 2011 году в качестве инженера бизнес-аналитика. К моменту, когда я покинул команду в 2013 году я уже был дата-инженером.

Меня не продвигали или назначали на эту новую позицию. Фактически, Facebook пришла к выводу, что выполняемая нами работа является классической бизнес-аналитикой. Роль, которую в итоге мы для себя создали, была полностью новой дисциплиной, а я и моя команда находились на острие этой трансформации. Мы разрабатывали новые подходы, способы решения задач и инструменты. При этом, чаще всего, мы игнорировали традиционные методы. Мы были пионерами. Мы были дата-инженерами!

Дата-инжиниринг?


Наука о данных как самостоятельная дисциплина переживает период отроческого самоутверждения и определения себя. В тоже время дата-инжиниринг можно было назвать ее «младшим братом», который тоже проходил через нечто подобное. Дата-инжиниринг принимал от своего «старшего родственника» сигналы, искал свое место и собственную идентичность. Как и ученые, занимающиеся обработкой данных, дата-инженеры тоже пишут код. Он является высокоаналитическим, с большой долей визуализации.

Но в отличие от ученых, работающих с данными и вдохновленными более зрелым прародителем сферы — программированием — дата-инженеры создают собственные инструменты, инфраструктуру, фреймворки и сервисы. На самом деле, мы намного ближе к программированию, чем к науке о данных.
Читать дальше →
Всего голосов 21: ↑18 и ↓3 +15
Просмотры 16K
Комментарии 3

Zabbix 3.X: мониторинг контролеров Adaptec в Windows Server (Hyper-V Core)

Системное администрирование *
Tutorial
Доброго времени суток, %habrauser%! Сегодня займемся укрощением своих кривых ручонок и попробуем настроить мониторинг контролеров Adaptec на Hyper-V (core 2012r2) хостах при помощи Zabbix 3.2, PowerShell и консольной утилиты Adaptec RAID Controller Command Line Utility предназначенной для мониторинга и управления контролерами Adaptec.
Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 8.4K
Комментарии 6