Друзья взяли интервью у Станислава Шалунова, основавшего компанию, разработавшую технологию для передачи данных p2p, которая была куплена компанией BitTorrent. Сейчас эта технология применяется в продуктах компаний BitTorrent и Apple.

В данный момент Станислав работает над компанией Open Garden, и приложением FireChat, которыми пользуются уже более 7 млн. пользователей для передачи данных между находящимися неподалеку друг от друга устройствами.

В продолжение темы о ПО SnapProtect: Архитектура резервного копирования на системах NetApp FAS, эта статья посвящена новым возможностям SnapProtect. Софт SnapProtect объединяет высокоскоростные Snapshot NetApp и репликацию на ленту, для уменьшения времени простоя и потери данных. Это единая консоль управления, создания и каталогизации, управления консистентными, с точки зрения приложения, snapshot в инфраструктуре, обеспечивая жизненный цикл хранения disk-to-disk-to-tape (D2D2T).



Эта схема резервного копирования выполнена в соответствии с парадигмой резервного копирования для систем NetApp FAS: основные и резервные данные расположены на СХД, а резервные копии выполняются на основе Hardware Assistant Snapshot, взаимодействуя с приложениями создавая, таким образом, Application Consistent Backup.

В этой статье я рассмотрю как архитектура SnapProtect притворяет в жизнь «парадигму резервного копирования NetApp», используя передовые технологии и преимущества систем хранения, серии FAS. ПО SnapProtect (SP) предназначенно для управления жизненным циклом резервных копий, архивацией и восстановлением данных для всей инфраструктуры, расположенной на СХД NetApp FAS. SP обеспечивает связность с приложениями, консистентность при снятии резервной копии, управление репликацией/архивацией между хранилищами, каталогизацию, восстановление данных в случае необходимости, проверку резервных копий, а также другие функции. FAS очень универсальные системы, которые могут использоваться для задач как «основной» СХД, «запасной» (DR) так и для архивации данных.

Комплекс SnapProtect состоит из следующих основных компонент:

• Сервер с SnapProtect Management Server (CommServe license), для отказоустойчивости применяется кластеризация (на уровне приложения + кластеризация БД)
• Серверы с инсталлированным MediaAgent'ами.
• Агенты iDataAgent (iDA). Устанавливаются на хосты для интеграции с ОС, файловыми системами, приложениями и другими компонентами хостовой ОС.
• SP взаимодействует с хранилищем NetApp через Oncommand Unified Manager.

* — подробности под катом
Трафик.

В этой теме хотелось бы познакомить читателей с относительно новым подходом к контролю доступа под названием Attribute-based access control. Знакомство будет происходить на примере сравнения с популярным нынче Role-based access control.

В этом посте я хотелбы рассмотреть подход к резервному копирования данных на СХД NetApp серии FAS.


Архитектура резервного копирования

WAFL

И начну я издали — со снепшотов. Технология снепшотов впервые была изобретена (и запатентирована) в 1993 году компанией NetApp, а само слово Snapshot™ является её торговой маркой. Технология снепшотирования логически проистекала из механизмов работы файловой структуры WAFL. Почему WAFL не файловая система смотрите здесь. Дело в том, что WAFL всегда пишет новые данные «в новое место» и просто переставляет указатель на содержимое новых данных в новое место, а старые данные не удаляются, эти блоки данных, на которые нет указателей, считаются высвобожденными для новых записей. Благодаря этой особенности записи, «всегда в новое место», механизм снепшотирования был легко интегрирован в WAFL, из-за чего такие снепшоты называют Redirect on Write (RoW). Подробнее про WAFL.

Представляем новые данные Brand Analytics по эмоциональному состоянию пользователей социальных сетей в регионах России. В период с 8 по 21 декабря 2014 года было проведено четвертое измерение соотношения позитивных и негативных эмоций в публичных сообщениях российских пользователей соцмедиа. Главный вывод: несмотря на сложную политическую и экономическую ситуацию, в стране сохраняется позитивная динамика общего эмоционального фона.

Моя прошлая статья была о выборе ламп освещения для жилой мастерской. В этот раз расскажу про реализацию домашней автоматизации в том же помещении. Мастерская отапливается двумя электрическими обогревателями. Хотелось удаленно их включать, чтобы не приезжать в холодное помещение. И еще хотелось поддерживать заданную температуру, до этого при изменении температуры на улице приходилось каждый раз крутить «термостаты» обогревателей. Ну и управление освещением, датчик открытия двери и т.д.

Несколько дней назад я установил Asterisk, загрузил свою старую конфигурацию с маршрутизацией вызовов и намеревался подключиться к местному SIP провайдеру. Буквально через несколько минут после запуска Asterisk'а обнаружил в логах попытки авторизации на сервере, что меня ничуть не удивило, т.к. такая картина наблюдается на любом астериске, смотрящем в Интернет. Было принято волевое решение поиграться с любимым микротиком и не менее любимым питоном, и придумать, что делать с этими злоумышленниками.

Итак, у нас имеется:

• Ubuntu Server 14.04 (думаю не принципиально, должно работать на других дистрибутивах)
• Fail2Ban
• MySQL
• Asterisk (или любой другой сервис, который нужно защитить от брут форс атак)
• Роутер MikroTik
• Руки
• Желание изобрести велосипед

После прочтения пары статей (один, два) родился следующий концепт:

1. баним злоумышленника на определённое время при помощи Fail2Ban и добавляем запись с его IP адресом в БД MySQL
2. после определённого количества выданных банов добавляем IP адрес в список запрещённых на роутере

Это 8 Тбит/с (при использовании 80 длин волн с пропускной способностью 100G).

С 2006 года я сдал в эксплуатацию коммутационное оборудование полутора дюжинам банков. И ещё ряду объектов, которые не могу упоминать. Это те самые каналы, где в скорость синхронной репликации нагло и подло вмешивается скорость распространения света в оптоволокне.

Случается, что заказчики сначала строят ЦОДы, а потом задумываются, как связать их при помощи WDM. Аналогию можно привести с транспортными развязками в Москве, когда сначала строят многоэтажные здания а потом понимают, что дорога в две полосы не справляется с транспортным потоком, и строят дорогостоящие трёхуровневые развязки на пяточке земли, хотя куда более логичным было бы заложить место под будущие дороги и развязки, а уже после строить дома.

Ниже я рассказываю о нескольких типовых случаях архитектуры, где очень легко поймать ошибку масштабирования или неверного резервирования. И про магию «работает – не трогай».

Docker в продакшене на Iron.io


Ранее в этом году (прим. 2014 г.), мы приняли решение запускать каждую задачу на IronWorker внутри своего собственного Docker контейнера. С тех пор мы запустили более 300 000 000 программ внутри собственных Docker контейнеров в облаке.

После нескольких месяцев использования, мы хотели бы поделиться с сообществом некоторыми из проблем, с которыми мы столкнулись в построении инфраструктуры, основанной на Docker'e, как мы преодолели их, и почему это стоило того.

В продолжение темы об оптимизации хоста для взаимодействия с СХД NetApp FAS, эта статья будет посвещена оптимизации производительности VMWare ESXi, предыдущие статьи были посвящены тюнингу ОС Linux и Windows в среде SAN. Компания NetApp давно тесно сотрудничает с VMware, подтверждением тому может стать тот факт, что нашумевшая технология vVOL была реализована одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не выпущен. В связи с чем системы хранения NetApp FAS крайне популярны в этом окружении. Часть про Disk Alignment будет полезна не только владельцам NetApp.

Настройки VMWare ESXi можно разделить на следующие части:

• Оптимизация гипервизора
• Оптимизация гостевой ОС (GOS)
• Оптимальные настройки SAN (FC/FCoE и iSCSI)
• Настройки NAS (NFS)
• Проверка совместимости оборудования, прошивок и ПО

Для поиска узкого места обычно выполняют методику последовательного исключения. Предлагаю перво-наперво начать с СХД. А дальше двигаться СХД -> Сеть (Ethernet / FC) -> Хост ( Windows / Linux / VMware ESXi 5.Х и ESXi 6.X ) -> Приложение.

В продолжение темы об оптимизации хоста с VMware ESXi, рассмотрим как поступать со Swap'ом в инфраструктуре живущей на СХД NetApp FAS. Хотя эта статья должна быть полезна и не только владельцам систем NetApp FAS.

Одна из важнейших возможностей виртуализации заключается в возможности более эффективно утилизировать серверное оборудование, что подразумевает Overcommit ресурсов. Если мы говорим об ОЗУ, это означает, что мы можем настроить каждой виртуальной машине больше памяти, чем есть на сервере на самом деле. А дальше мы полагаемся на ESXi, чтобы тот разрулил борьбу за ресурсы — забрал (такой процесс часто называют reclamation) не нужную память одной виртуальной машины и отдал той, которая в ней действительно нуждается. В тот момент когда не хватает памяти, начинается процесс свапинга памяти.

Начнём с того, что есть два типа свапинга, которые могут происходить на ESXi хосте. Их очень часто путают, поэтому давайте условно будем называть их Тип 1 и Тип 2.


Расположение данных VMware ESXi по умолчанию

Здравствуйте, уважаемые читатели!

Современные облака, используемые для целей хостинга, высоко поднимают планку требований к инфраструктуре хранения данных. Чтобы клиент получил качественную услугу, системе хранения данных должен быть присущ целый ряд свойств:

• высокая надежность хранения
• высокая доступность данных, то есть минимальное время простоя при авариях
• высокая скорость доступа и минимальные задержки
• низкая удельная стоимость хранения
• различные прикладные возможности: клонирование, снимки состояния и т.д.

Ни RAID-массивы, ни «железные» СХД не способны решить все перечисленные задачи одновременно. Именно поэтому все большее распространение в индустрии хостинга приобретает Software-defined storage. Одним из ярких представителей SDS является распределенное хранилище под названием Ceph.

Мы решили рассказать об этом замечательном продукте, который используется в CERN, 2GIS, Mail.ru и в нашем облачном хостинге.

Прочитав статью «ZFS on Linux — легко и просто», решил поделиться своим скромным опытом использования этой ФС на паре Linux-серверов.

Вначале — лирическое отступление. ZFS — это круто. Это настолько круто, что перекрывает все недостатки ФС, портированной с идеологически другой платформы. Ядро Solaris работает с иными примитивами, нежели Linux, поэтому, чтобы сделать возможным перенос ZFS с использованием кода Solaris, разработчики создали слой совместимости SPL — Solaris Porting Layer. Прослойка эта работает вроде бы нормально, но она — дополнительный код в режиме ядра, который вполне может быть источником сбоев.

В этой статье я хотел бы рассмотреть тему оптимизации Windows Server (с виртуализацией и без) с использованием СХД NetApp FAS в среде SAN.

Для поиска и устранения узких мест в такой инфраструктуре, нужно опредилиться с компонентами инфраструктуры, среди которых их стоит искать. Разделим инфраструктуру на следующие компоненты:

• Настройки хоста c SAN (FC/FCoE)
• Настройки Ethernet сети на хосте для IP SAN ( iSCSI ).
• Собственно сам хост с ОС
• Приложения на Хосте
• Проверка совместимости драйверов и версий ПО

В одной из своих статей я рассказал что такое архитектура FlexPod DC и из чего она состоит, к физическим компонентам FlexPod DC относятся: СХД NetApp серии FAS, сервера Cisco UCS и Nexus свичи. Существует большое разнообразие поддерживаемых дизайнов FlexPod DC состоящего из этих трех основных компонент. Для того чтобы воспользоваться кооперативной поддержкой из «одних рук» необходимо наличие соответствующего сервиса поддержки для всех этих компонент.

Что если сервисы Cisco SnartNet и NetApp Support Edge у вас есть, а в архитектуре отсутствуют Nexus свичи, при этом СХД напрямую включена в UCS Fabric Interconnect?

Это и есть «не-FlexPod DC» архитектура о которой пойдёт речь, она тоже может поддерживаться из «одних рук» по программе Cisco «Solution Support for Critical Infrastructure» (SSCI).


Общий дизайн SAN сети с прямым включением

В этой статье я сфокусируюсь на оптимизации производительности систем NetApp FAS.

Объектами оптимизации с точки зрения СХД могут быть настройки:

• SAN в СХД
• Ethernet в СХД
• NAS в СХД
• Дисковой подсистемы на Back-End СХД
• Дисковой подсистемы на Front-End СХД
• Проверка совместимости прошивок
• Ускорители

Для поиска узкого места обычно выполняют методику последовательного исключения. Предлагаю перво-наперво начать с СХД. А дальше двигаться СХД -> Сеть (Ethernet / FC) -> Хост ( Windows / Linux / VMware ESXi 5.Х и ESXi 6.X ) -> Приложение.

В продолжение предыдущей статьи "Ethernet & FC", хотел бы дать конкретные рекомендации по оптимизации Ethernet сети для работы с СХД NetApp FAS. Хотя, полагаю, многие вещи описанные здесь могут быть полезны и для других решений.

Немного воды

Уже более полутора лет назад прошла новость о том, что «DARPA намерено совершить революцию в машинном обучении». Конечно, DARPA всего лишь выделила деньги на исследовательскую программу, связанную с вероятностным программированием. Само же вероятностное программирование существует и развивается без DARPA достаточно давно, причем исследования ведутся, как в ведущих университетах, таких как MIT, так и в крупных корпорациях, таких как Microsoft. И вовсе не зря DARPA, Microsoft, MIT и т.д. обращают пристальное внимание на эту область, ведь она по-настоящему перспективна для машинного обучения, а, может, и для искусственного интеллекта в целом. Говорят, что вероятностное программирование для машинного обучения будет играть ту же роль, что и высокоуровневые языки для обычного программирования. Мы бы привели другую параллель – с ролью Пролога, которую он сыграл для старого доброго ИИ. Вот только в Рунете по данной теме до сих пор можно найти лишь единичные ссылки, и то в основном содержащие лишь описания общих принципов. Возможно, это связано с тем, что потенциал вероятностного программирования еще только начал раскрываться и оно не стало основным трендом. Однако на что же способны или будут способны вероятностные языки?