OceanStor Dorado5000 V3

В общем, это массив как массив. На нём новые NVMe-диски. Получаешь хорошую производительность «за те же деньги». Но есть два нюанса. Нюансы такие: он хорош в соотношении «стоимость за ГБ + производительность» и он не американский, то есть подходит тем, кто под санкциями.

Мы его спокойно себе тестировали, когда вдруг на горизонте показался очень взволнованный заказчик. У него была гибридная СХД с кончившейся поддержкой, где вылетел контроллер. СХД не самая новая и дисков за сотню. Без контроллера производительность очень упала. Ждать новый шесть недель. Коллеги бились в панике, попутно умоляя нас, каким-то неведомым образом сократить сроки поставки нового контроллера. КРОК может все. Иногда даже больше.

У нас на тестах была новая железка Дорадо. Толком обкатать не успели, но вроде нормальная. Объяснили, переглянулись — и дали погонять как раз на то время, пока будет плыть новый контроллер. За сутки все смигрировали, но оставили старую систему в качестве резерва.

Компания Honda R&D при помощи IBM Watson Internet of Things (IoT) собирает и анализирует данные с более чем 160 датчиков, устанавливаемых на каждом автомобиле Honda для гонок Формулы 1. Теперь водители и технические команды могут в режиме реального времени применять данные и аналитику для оптимизации характеристик двигателя и повышения эффективности использования топлива. В частности, это позволит оперативно принимать решения в процессе гонки, например, регулировать скорость движения и выбирать моменты заезда на пит-стопы.

Время реакции водителей в профессиональном автоспорте исчисляется долями секунды, это определяет выигрыш или проигрыш гонки. После гонки инженеры извлекают из силовой установки необходимые данные, например, сведения о регулировке фаз распределения и о расходе топлива, чтобы скорректировать стратегии поведения в следующем заезде. Однако к сегодняшнему дню мотоспорт эволюционировал до такого уровня, когда он в очень значительной степени управляется данными, а пилоты имеют постоянное сетевое подключение. Сейчас технические команды могут анализировать быстро поступающие данные от силовой установки и от водителя, чтобы в режиме реального времени корректировать стратегии гонки (в том числе способы экономии топлива), которые относятся к числу критических факторов, определяющих победу. В 2014 году Международная автомобильная федерация (Fédération Internationale de l'Automobile, FIA), под руководством которой проводятся гонки Формулы 1, опубликовала новые требования, согласно которым все автомобили Формулы 1 должны использовать гибридные двигатели и не выходить за установленные ограничения по потреблению топлива во время гонок. Это вынудило мотоспорт сосредоточиться на разработке более энергоэффективных автомобильных технологий.

В этой статье я хочу рассказать про важную задачу, о которой нужно думать и нужно уметь решать, если в аналитической платформе для работы с данными появляется такой важный компонент как Hadoop — задача интеграции данных Hadoop и данных корпоративного DWH. В Data Lake в Тинькофф Банке мы научились эффективно решать эту задачу и дальше в статье я расскажу, как мы это сделали.



Данная статья является продолжением цикла статей про Data Lake в Тинькофф Банке (предыдущая статья Data Lake – от теории к практике. Сказ про то, как мы строим ETL на Hadoop).

В нашем блоге на Хабре мы рассказываем не только про технологические аспекты работы облачного сервиса 1cloud, но и затрагиваем вопросы огранизации рабочего процесса. Например, совсем недавно мы обсуждали работу тех. поддержки.

Сегодня мы решили разнообразить пятничную ленту Хабра разбором материалов по теме устройства сервиса Netflix, поставляющего зрителям фильмы и сериалы на основе технологий потокового мультимедиа.

В первой части было описано, как сделать резервную копию БД Oracle установленной на Linux средствами Symantec Backup Exec, теперь рассмотрим как из этой копии восстановить данные. Как и с резервным копированием не все так просто и очевидно.

В данной статье я хотел бы представить полезную информацию, собранную при проектировании и внедрении отказоустойчивой среды виртуализации. Особое внимание уделено нюансам работы HP Virtual Connect FlexFabric и конфигурации гипервизора VMware vSphere 5.5 при использовании Ethernet 10 Gbit и NFS в качестве Datastore.

Схема сетевого взаимодействия

Реляционные базы данных (РБД) используются повсюду. Они бывают самых разных видов, от маленьких и полезных SQLite до мощных Teradata. Но в то же время существует очень немного статей, объясняющих принцип действия и устройство реляционных баз данных. Да и те, что есть — довольно поверхностные, без особых подробностей. Зато по более «модным» направлениям (большие данные, NoSQL или JS) написано гораздо больше статей, причём куда более глубоких. Вероятно, такая ситуация сложилась из-за того, что реляционные БД — вещь «старая» и слишком скучная, чтобы разбирать её вне университетских программ, исследовательских работ и книг.

На самом деле, мало кто действительно понимает, как работают реляционные БД. А многие разработчики очень не любят, когда они чего-то не понимают. Если реляционные БД используют порядка 40 лет, значит тому есть причина. РБД — штука очень интересная, поскольку в ее основе лежат полезные и широко используемые понятия. Если вы хотели бы разобраться в том, как работают РБД, то эта статья для вас.

Изначально эта статья задумывалась только для разработчиков и администраторов СУБД Firebird, но после общения с администраторами других БД выяснилось, что большинство ошибок общие, и на очень похожие грабли наступают буквально все. Если Вы можете что-то добавить к этому списку (пусть даже специфическое для конкретной СУБД), пишите в личную почту или в комментариях.
In English: 12 Common Mistakes while Backing Up Databases

Наша компания занимается инструментами восстановления, резервного копирования, оптимизации и поддержкой СУБД (в основном Firebird, но есть и MSSQL, PostgreSQL, InterBase и др.) и, как результат многочисленных аудитов и ремонтов, накопила коллекцию ошибок, связанных с резервным копированием. Все пункты ниже изложены по мотивам реальных случаев с повреждением баз, потерей и повреждением бэкапов, дисков, сбоями серверов, и прочих «радостей» администраторов БД.

Хотелось бы о них рассказать, чтобы администраторы и разработчики могли поменять свои подходы к управлению бэкапами и предупредить возможные проблемы.

Итак, приступим.

Чтобы при планировании ресурсов для Veeam Backup & Replication люди могли прикинуть, сколько места потребуется в репозитории для бэкапа виртуальной машины, в свое время был создан калькулятор-симулятор точек восстановления Restore Point Simulator (RPS).



Но поскольку периодически приходится слышать от пользователей «А почему\зачем здесь это значение?», то сегодня я дам несколько пояснений насчет параметров ввода и расскажу, откуда взялись значения по умолчанию.
За подробностями добро пожаловать под кат.

Господа! Я рад сообщить, что наконец-то все желающие могут загрузить бесплатный учебник на более чем 1600 страниц, над переводом которого работало более полусотни человек из ведущих университетов, институтов и компаний России, Украины, США и Великобритании. Это был реально народный проект и пример международной кооперации.

Учебник Дэвида Харриса и Сары Харрис «Цифровая схемотехника и архитектура компьютера», второе издание, 2012, сводит вместе миры программного обеспечения и аппаратуры, являясь одновременно введением и в разработку микросхем, и в низкоуровневое программирование для студентов младших курсов. Этот учебник превосходит более ранний вводный учебник «Архитектура компьютера и проектирование компьютерных систем» от Дэвида Паттерсона и Джона Хеннесси, причем соавтор предыдущего учебника Дэвид Паттерсон сам рекомендовал учебник от Харрисов как более продвинутый. Следуя новому учебнику, студенты строят реализацию подмножества архитектуры MIPS, используя платы с ПЛИС / FPGA, после чего сравнивают эту реализацию с индустриальными микроконтроллерами Microchip PIC32. Таким образом вводится вместе схемотехника, языки описания аппаратуры Verilog и VHDL, архитектура компьютера, микроархитектура (организация процессорного конвейера) и программирование на ассемблере — в общем все, что находится между физикой и высокоуровневым программированием.

Как загрузить? К сожалению, не одним кликом. Сначало надо зарегистрироваться в пользовательском коммьюнити Imagination Technologies, потом зарегистрироваться в образовательных программах на том же сайте, после чего наконец скачать:

Системы хранения данных ЕМС — это как хорошая немецкая машина. Знаешь, что немного переплачиваешь за бренд, но безопасность данных и чуткость управления обеспечены. И сервис: премиальная гарантия, например, доставка запчастей в течение 4 часов с выездом инженера в случае необходимости.

Относительно недавно вышла новая линейка оборудования, флагман которой позволяет поставить до 1500 дисков — итого на 6 ПБ. Ниже её обзор с кратким ликбезом про СХД в принципе. И рассказ о том, как реально хорошие вещи сделали ещё лучше.

«Big Data» — тема, которая активно обсуждается технологическими компаниями. Некоторые из них успели разочароваться в больших данных, другие — напротив, максимально используют их для бизнеса… Свежий аналитический обзор отечественного и мирового рынка «Big Data», подготовленный Московской Биржей совместно с аналитиками «IPOboard», показывает, какие тренды наиболее актуальны сейчас на рынке. Надеемся, информация будет интересной и полезной.

Добрый день, Хабрахабр!

Не так давно мы рассказывали о возможностях дисковых систем и сравнивали их с ленточными, и в той статье упоминалась дисковая библиотека HP D2D B6200. Данное устройство относится к линейке Store Once, с которой мы и хотим вас познакомить сегодня.

Линейка Store Once — не первый опыт HP в области резервного копирования. Лучшие технологии и функционал систем HP D2D BackupSystem стали основой для новых СХД, которые стали третьим крупным поколением дисковых библиотек от Hewlett-Packard. Ладно, оставим лирику Александру Сергеевичу, нас интересуют цифры и характеристики, не так ли? :)

Страховые — третьи после банков и сотовых операторов потребители «тяжелого» IT-железа. На момент начала работ ситуация была такая: в офисе одной компании стояла их центральная серверная (напоминающая небольшой машзал дата-центра), и в ней, в целом, всё прекрасно работало.

Проблема была в том, что место под стойки (и в самих стойках) в серверной кончилось ещё 2 года назад. В других двух ЦОДах место было, а вот здесь — нет.

Вторая проблема в том, что основная база продакшна лежала на 149 томах, физически — как швейцарский сыр в серверах. Обусловлено это было тем, что когда требовалось её увеличить, находили первую свободную дырку в физических дисках и пихали туда. Между томами базы могли находиться базы других проектов, ПО, разные временные файлы и так далее. В общем, нужно было наводить порядок.

В этой статье я рассмотрю как архитектура SnapProtect притворяет в жизнь «парадигму резервного копирования NetApp», используя передовые технологии и преимущества систем хранения, серии FAS. ПО SnapProtect (SP) предназначенно для управления жизненным циклом резервных копий, архивацией и восстановлением данных для всей инфраструктуры, расположенной на СХД NetApp FAS. SP обеспечивает связность с приложениями, консистентность при снятии резервной копии, управление репликацией/архивацией между хранилищами, каталогизацию, восстановление данных в случае необходимости, проверку резервных копий, а также другие функции. FAS очень универсальные системы, которые могут использоваться для задач как «основной» СХД, «запасной» (DR) так и для архивации данных.

Комплекс SnapProtect состоит из следующих основных компонент:

• Сервер с SnapProtect Management Server (CommServe license), для отказоустойчивости применяется кластеризация (на уровне приложения + кластеризация БД)
• Серверы с инсталлированным MediaAgent'ами.
• Агенты iDataAgent (iDA). Устанавливаются на хосты для интеграции с ОС, файловыми системами, приложениями и другими компонентами хостовой ОС.
• SP взаимодействует с хранилищем NetApp через Oncommand Unified Manager.

Продолжая тестирование продуктовых линеек ЕМС, на этот раз мы будем разбираться с программным обеспечением компании для создания резервных копий и восстановления данных под названием EMC NetWorker. Поэтому сегодня я поделюсь с вами опытом по развертыванию классического «софта для бэкапа»
 

Сразу дискламер: я редко пишу посты на широкую аудиторию, и более правильного ресурса для этого текста в рамках моего кругозора не нашлось. Тем не менее, если кто-то найдет это интересным, значит не зря… Поехали.

С чего все началось

Как-то я услышал от одного человека мысль о том, чтобы заниматься бизнесом, ему приходится «выращивать в себе Мистера Хайда», типа некая альтернатива его личности способна придумать что-то такое, что не способен придумать он сам. Конечно же, он шутил, по большей части, и тогда я этому значение не придал. Вспомнил эту точную метафору лишь, когда сам решил, что мне нужно развивать креативность, умение продуктивно фантазировать, придумывать нестандартные решения.

Увлекательное интервью с замечательным человеком. Нил — астрофизик и популяризатор науки, при этом красиво излагает свои мысли и обладает отличным чувством юмора. Я к переводу имел некоторое отношение, внутри напишу некоторые подробности и в комментариях отвечу на вопросы.

Я работаю админом в муниципальной поликлинике, веду сообщество italks «ИТ в медицине: Иркутск и Иркутская область» (есть jabber-конфа, ВК, блог, почтовая рассылка и даже телефонная книга). Пришёл сюда в 2010м на 2 внедрения: электронные медицинские карты и «электронная» запись к специалистам. Медицина — очень перспективное по внедрениям направление, всё получается и поэтому очень нравится)



Начало работы на новом месте пришлось на начало «Программы модернизации здравоохранения Иркутской области на 2011-2012 годы». Меня сразу заинтересовали её несколько пунктов: создание ЛВС учреждения, разработка МИС (медицинской информационной системы) и приобретение техники (персональных компьютеров, принтеров, серверов). Мы сами занимались разработкой и согласованием проектов ЛВС, а региональное министерство здравоохранения взяло на себя разработку МИС и централизованную закупку техники через аукцион.



Чтобы иметь возможность повлиять на выбор техники, которая попадёт ко мне, я вёл достаточно активную деятельность.

Настороженно отношусь к непрофильным топикам, но решил написать этот по следующим причинам:

• У жонглирования есть своя теория — стройная и математически привлекательная!
• Мы живем не только работой. Жонглирование — отличное развлечение и разминка после долгого сидения за компом.
• В пятницу приятно немного расслабиться и почитать не очень серьезные статьи. К тому же, будет чем заняться на выходные, особенно если у вас не было определенных планов.

Теория

Утверждать, что жонглирование — это последовательность бросков, все равно, что сказать, что музыка — это просто последовательность нот. Нельзя назвать это неправдой, но любой, хоть немного знакомый с музыкальной теорией, возмутится последним определением — столь поверхностным и недалеким.