Несколько дней назад стала доступна версия Data ONTAP 8.3.2RC1. “RC” означает Release Candidate, а следовательно, в соответствии с принятыми в NetApp правилами именования версий, этот релиз уже прошел все внутренние тесты и может использоваться заказчиками не только для оценки новых возможностей, но и для продуктива, включая системы, на которых работают бизнес-критичные задачи. Поддержка вендора полностью распространяется на системы, работающие на “RC” версиях Data ONTAP.

Продавцы NetApp (да, это и мы тоже ;) не устают напоминать (и делают это совершенно правильно), что высокая утилизация дисковых ресурсов в системах NetApp достигается за счет использования программных средств оптимизации — дедупликации и компрессии.

Доброго дня, уважаемые.
Хочу поделиться с Вами решением одной творческой задачи. Надеюсь кому-то будет полезно.
Итак,

ДАНО:

маломощная железка с arm процессором и собранный под нее и установленный Debian 7 wheezy.

ЗАДАЧА:

поставить FreeRADIUS 3.0.X, настроить его на работу с БД SQLITE. Т.е., учетные записи пользователей (которых нужно аутентифицировать) RADIUS должен брать из БД SQLITE.

На конференции IBM Insight 2015 было сделано сразу несколько интересных анонсов. Основное — это продолжение развития идеи поддержки проекта Apache Spark. IBM запускает IBM Analytics on Apache Spark, при этом облачной платформой служит Bluemix. Напомним, что в июне корпорация IBM заявила о намерении инвестировать в проект более 300 миллионов долларов за несколько лет. Кроме того, ранее стало известно, что Apache Spark для Linux будет поддерживаться z Systems.

Такая поддержка будет осуществляться в рамках проекта «аналитика на мейнфреймах». Благодаря этому специалисты по дата-майнингу смогут использовать Apache Spark на мощных мейнфреймах z Systems.

Wi-Fi сейчас является одним из основных видов беспроводной связи. Большинство коммуникационных устройств оснащены именно этим беспроводным видом связи. Но вот умные гаджеты, т.е. устройства с приставкой «smart» обычно не используют Wi-Fi для связи друг с другом. Исключения есть, но их не так много.

Производители неохотно идут на встраивание такого рода модулей связи в умные гаджеты, поскольку Wi-Fi требует значительных затрат энергии. И это реальная проблема для устройств, которые должны быть маленькими, дешевыми и работать в автономном режиме месяцы или даже годы. Но сейчас эту проблему, кажется, постепенно решают. Wi-Fi Alliance собирается сертифицировать стандарт Wi-Fi HaLow, основной для которого служит неутвержденная пока спецификация IEEE 802.11ah.

Всем привет.
4 января вышла новая версия Apache Spark 1.6 с bug fix новыми возможностями обработки больших данных. На Хабре написано немало статей по использованию этого инструмента от введения до опыта использования в проектах. Spark работает на большинстве операционных систем и его можно запускать в локальном режиме даже на обычном ноутбуке. Используя простоту настройки Spark в этом случае грех не воспользоваться основными функциям. В этой статье мы посмотрим как на ноутбуке быстро настроить обработку большого файла (больше оперативной памяти компьютера) с помощью обычных SQL-запросов. Это позволит делать запросы даже неподготовленному пользователю. Дополнительное подключение iPython (Jupyter) notebook позволит составлять полноценные отчеты. В статье разобран простой пример обработки файла, другие примеры на Python есть тут.

Дисклеймер

От себя: мой первый перевод, правки и улучшения принимаются в личку. Спасибо!

Интервью

Это новый выпуск из серии «Licensing and Compliance Lab» – интервью с разработчиками, которые выбрали лицензии GNU для своих работ.

В этом выпуске мы взяли email-интервью у Калеба Джеймса ДеЛайла, основного разработчика cjdns – сетевого протокола с шифрованием на основе IPv6 и серверного ПО, которое использует ассимитричное шифрование для получения адресов и распределённые хэш-таблицы (DHT) для построения маршрутов.

Хочу поделиться и обсудить возможности использования протокола IP через сети P2P на примере IPOP.

Кратко:

IPOP (IP-over-P2P) — это программно поддерживаемая виртуальная сеть, которая может быть использована в качестве основы для создания виртуальных частных сетей поверх множества провайдеров и административных доменов. IPOP построена как пиринговая одноранговая сеть для туннелирования и маршрутизации инкапсулированных IP-пакетов, которые передаются через виртуальные сетевые интерфейсы (v-NICs). Сеть IPOP состоит из пиринговых роутеров на конечных точках, которые соединяются с виртуальными сетями (к примеру, между виртуальными машинами, находящимися в сетях различных провайдеров).

NetApp, inc заключила договор о покупке SolidFire, inc за 870 млн дол. США наличными.

Основанная в 2010, SolidFire является производителем All Flash хранилищ для ЦОД нового поколения, где простое масштабирование и управление в виде «настроил и забыл» обеспечивает производительность и совместную среду Multy-Tenancy.



С SolidFire NetApp даст новое предложение которое будет покрывать каждую из трех частей рынка All Flash хранилищ:

• Для традиционных инфраструктур Enterprise заказчиков, NetApp All Flas FAS (AFF), продуктовая линейка которая предоставляет функции и возможности Enterprise уровня.
• Для владельцев приложений, NetApp EF серию продуктов показывающих невероятно высокие значения производительности вместе с тем низкую скорость отклика (Latency) согласно открытому тестированию SPC-1, а также высокую доступность «шесть девяток».
• Для заказчиков с инфраструктурами нового поколения, продукты от SolidFire, распределённые, самовосстанавливающиеся и расширяющуюся архитектуру, доступную цену и простое управление.

SolidFire активен в облачном сообществе и предоставляет интегрировать уравление хранением при помощи VMware vCenter plug-in, VAAI, SRM, OpenStack driver, CloudStack plug-in, Microsoft VSS provider, PowerShell, VMware SRM/SRA и других облачных решений.

Через время продукты SolidFire будут интегрированы в парадигму NetApp DataFabric предоставляя бесшовное управление облачными ресурсами, а также ресурсами flash- и дисковых масивов.

Среди трех предыдущих конфигураций Small/Medium/Large в архитектуре FlexPod Express появилась ещё одна под названием Cisco UCS-Managed. В этой статье пойдёт речь об этой новой конфигурации. FlexPod Express и FlexPod Datacenter деляться на два основных типа подключения: прямое подключение СХД к серверам (между СХД и серверами нет коммутатора) или через коммутатор (между СХД и серверами есть коммутатор), напомню что Fabric Interconnect это не коммутатор, а часть UCS домена серверов.

Стоит отметить несколько важных отличий новой конфигурации от предыдущих трех.

• Во-первых в архитектуре появились Fabric Interconnect, пускай и в исполнении внутренних устройств, установленных в шасси UCS Mini с блейдами.
• Во-вторых в архитектуре появилась возможность прямого подключения СХД к Fabric Interconnect, ранее между серверами и СХД обязательно должен был наличествовать коммутатор. При этом коммутатор должен был быть только Nexus (3048/3500/9300).
• В третьих если у нас конфигурация FlexPod Express Cisco UCS-Managed с прямым подключением, коммутатор для подключения конечных пользователей не обязательно должен быть Nexus. Теперь это может быть любой стандартный свич поддерживающий отказоустойчивость на подобии Multi Chassis Etherchannel. Но если между UCS и FAS нужен свитч, то свич обязан быть Nexus.

Что такое CoreOS?

CoreOS — это операционная система на базе Linux для построения легко и гибко масштабируемых кластеров. CoreOS — минималистичный дистрибутив. Установочный ISO образ объемом всего в 136Мб, а в памяти на конечной машине после установки и запуска она займет всего 114Мб. CoreOS основан на ChromeOS, который в свою очередь базируется на Gentoo.

Фактически, CoreOS можно условно можно разделить на следующие части:

• Systemd — управляет локальными службами на машинах кластера
• Docker — обеспечивает изоляцию служб, но его использование, в принципе, не обязательно
• Etcd — распределенно хранит конфигурацию кластера
• Fleet — обеспечивает распределенное управление службами («надстройка» над systemd)

CoreOS умеет запускать службы systemd на нужных машинах кластера, следить за их состоянием, хранить их конфигурацию.

Чтобы не откладывать в долгий ящик сразу порассказываю несколько других примеров для MapReduce, обещанные в топике "MapReduce без зауми". (Если не понимаете полностью что такое MapReduce — прочитайте тот топик сначала! Без него не разберетесь)

Поговорим тут о подсчетах национальностей в городах, средних оценках и приводах учеников, ТИЦ, PageRank, входящих ссылках, нишевых ключевых словах, словах-синонимах, социальных сетях и общих друзьях. Постараемся обойтись без математических знаков и зауми.

Однако тема сама по себе сложная и все же напрячь мозги придется. Когда поймете — будет очень просто.

Входящие ссылки

Допустим у нас есть Интернет. В Интернете есть исходящие ссылки.

Допустим на входе у нас есть такие данные об ИСХОДЯЩИХ ссылках, собранные нашим паучком:

habrahabr.ru -> thematicmedia.ru, apple.ru, microsoft.com, ubuntu.com, yandex.ru
thematicmedia.ru -> habrahabr.ru, autokadabra.ru
autokadabra.ru -> habrahabr.ru, yandex.ru

Т.е. мы знаем, что Хабр ссылается на Apple, MS, Ubuntu и Яндекс но кто ссылается на Хабр? Да, вопрос примитивный, но все же разложим на MapReduce. Дальше будет интереснее и этот пример понадобится.

Давно хотел рассказать про MapReduce, а то как ни взгляшешь на подобное — такая заумь, что просто ужас берет, а на самом деле очень простой и полезный подход для многих целей. И реализовать самому — не так уж и сложно.

Сразу скажу — топик — для тех, кто не разобрался что такое MapReduce. Для тех, кто разобрался — полезного тут ничего не будет.

Начнем с того как собственно родилась лично у меня идея MapReduce (хотя я и не знал, что он так называется, и, разумеется, пришла она мне куда позже чем Гугловсцам).

Сначала опишу как она рождалась (подход был неправильный), а потом как надо правильно делать.

Как посчитать все слова в Википедии (неправильный подход)

А родилась она, как и, наверное, везде — для подсчета частоты слов, когда обычной памяти не хватает (подсчет частоты всех слов в Википедии). Вместо слова «частота» тут скорее должно быть «количество вхождений», но для простоты оставлю «частота».

В самом простом случае мы можем завести хеш (dict, map, hash, ассоциативный массив, array() в PHP) и считать в нем слова.

$dict['word1'] += 1

Но что делать когда память под хеш кончится, а мы посчитали только одну сотую всех слов?

В релизе 2.1 было заявлена реализация такой функциональности, как новый фреймворк агрегирования данных. Хотелось бы рассказать о первых впечатлениях от этой весьма интересной штуки. Данный функционал должен позволить в некоторых местах отказаться от Map/Reduce и написания кода на JavaScript в пользу достаточно простых конструкций, предназначенных для группировки полей почти как в SQL.

В последние несколько лет MongoDB приобрела огромную популярность среди разработчиков. То и дело в интернете появляются всякие статьи, как очередной молодой популярный проект выкинул на свалку истории привычные РСУБД, взял в качестве основной базы данных MongoDB, выстроил инфраструктуру вокруг неё, и как все после этого стало прекрасно. Даже появляются новые фреймворки и библиотеки, которые строят свою архитектуру целиком на Mongo (Meteor.js например).

По долгу работы я примерно 3 года занимаюсь разработкой и поддержкой нескольких проектов, которые используют MongoDB в качестве основной БД, и в этой статье хочу рассказать, почему на мой взгляд с MongoDB далеко не все так просто, как написано в мануалах, и к чему вы должны быть готовы, если вдруг решите взять MongoDB в качестве основной БД в ваш новый модный стартап :-)

Все что описано ниже можно воспроизвести с использованием библиотеки PyMongo для работы с MongoDB из языка программирования Python. Однако скорее всего с аналогичными ситуациями вы можете столкнуться и при использовании других библиотек для других языков программирования.

Дисклеймер от автора (автор — девушка): Я не разрабатываю движки баз данных. Я создаю веб-приложения. Я участвую в 4-6 разных проектах каждый год, то есть создаю много веб-приложений. Я вижу много приложений с различными требованиями и различными потребностями хранения данных. Я разворачивала большинство хранилищ, о которых вы слышали, и несколько, о которых даже не подозреваете.

Несколько раз я делала неправильный выбор СУБД. Эта история об одном таком выборе — почему мы сделали такой выбор, как бы узнали что выбор был неверен и как мы с этим боролись.Это все произошло на проекте с открытым исходным кодом, называемым Diaspora.

Эти два графа являются изоморфными

Математик Ласло Бабай (László Babai) с факультета компьютерных наук и математики Чикагского университета представил быстрый новый алгоритм для решения задачи изоморфизма графов — одной из фундаментальных проблем теории сложности вычислений. Алгоритм приводит проблему очень близко к классу P. По мнению некоторых специалистов, это один из самых значительных результатов в теоретической информатике за десятилетие, если не за несколько десятилетий.

Рост популярности кластерных систем как среды для высоко-производительных вычислений или HPC (High Performance Computing) выводит на первый план задачу обеспечения эффективного взаимодействия платформ, образующих кластер.

У нас накопился массив материалов, связанных с изучением архитектуры Remote Direct Memory Access. Во время его формирования ряд моментов стали более понятны, но механизмы некоторых реализаций по-прежнему остались только в виде предположений. К сожалению, существующая проблематика удаленного доступа непосредственно к памяти сводится к упрощенной модели отказа от лишних пересылок. Очевидно, что в случае с RDMA мы имеем дело с сущностью, порождающей новое качество межплатформенного взаимодействия, базис которого заложен такими краеугольными понятиями как IfiniBand и NUMA.

В блоге 45 Drives вышел достаточно интересный материал Роба МакКвина, который работает в R&D отделе компании. В нем идет речь об оптимизации полосы пропускания. Попробуем разобраться в этой истории и основных моментах, о которых рассказал Роб.

Команда UNMAP стандартизирована в рамках набора команд T10 SCSI и используется для высвобождения пространства из тонких лунов назад хрнилищу данных в SAN окружении. Как я писал ранее, протоколы SAN и NAS понемногу заимствуют друг у друга всё лучшее. Одна из полезных вещей которая появилась достаточно давно, это возможность обратной связи СХД и хоста, для того чтобы «возвращать» удалённые блоки в тонкий лун, чего раньше так не хватало в SAN. Функцией UNMAP по-прежнему мало кто пользуется в SAN окружении, хотя она очень полезна в сочетании как с виртуализированными так и не виртуализированными средами.

Без поддержки команды UNMAP любой тонкий лун созданный на стороне СХД всегда мог только увеличиваться в размере. Его рост был вопросом времени, который безоговорочно всегда заканчивался тем, что такой тонкий лун в конце концов станет занимать свой полный объём, который ему положен, т.е. в конце концов он станет толстым.