Pull to refresh
  • by relevance
  • by date
  • by rating

Торвальдс подверг критике использование ZFS в Linux из-за политики лицензирования Oracle

Configuring Linux *Oracle *Data storage *
image

Автор ОС Linux Линус Торвальдс считает, что основным препятствием для включения файловой системы ZFS в официальное ядро операционной системы является лицензионная политика Oracle. Так он отреагировал на критику изменений в ядре Linux, которые нарушили работу надстройки, обеспечивающей использование ZFS.

Оба проекта имеют открытый исходный код, но распространяются под разными лицензиями CDDL и GPLv2, которые не совместимы друг с другом. Чтобы обойти это ограничение, и использовалась надстройка.
Читать дальше →
Total votes 32: ↑25 and ↓7 +18
Views 11K
Comments 36

Sun подтверждает — Apple добавит ZFS в Mac OS X Leopard

IT-companies
Более года назад прошёл слух о том, что в Mac OS X Leopard будет использоваться файловая система следующего поколения ZFS.

Сейчас этот слух можно назвать официально подтверждённым. Как отмечает MacRumors.com, вчера Джонатан Шварц (Jonathan Schwartz), президент Sun Microsystems, заявил, что вместо HFS+ новой файловой системой в Leopard будет ZFS.
Читать дальше →
Total votes 14: ↑12 and ↓2 +10
Views 415
Comments 34

ZFS на Linux: она жива!

Configuring Linux *
Translation
Если вы любите Linux за большое количество поддерживаемых устройств, а Solaris за продвинутую файловую систему ZFS, то новый, разрабатываемый проект, может преподнести вам сюрприз.
Читать дальше →
Total votes 4: ↑3 and ↓1 +2
Views 2.1K
Comments 2

Радио-Т #91

Lumber room
— Удовольствия и разочарования FF3
— Subversion 1.5 наше все
— Наша кухня под атакой читателей одного известного журнала
— Очень зеленый и очень маленький компьютер
— openSUSE 11.0 вышла, а Java открылась
— ZFS ожидается прибытием
— Яндекс разваливает Yahoo
— Mail.ru наносит ответный удар
— GCC захотел странного
— Темы наших слушателей

Желающим послушать послеэфирные записи необходимо пройти тест на IQ

Скажем спасибо xshiriy, файл убран, подробности в комментариях.
Total votes 109: ↑81 and ↓28 +53
Views 226
Comments 109

Sun выпустит открытое ПО для сетевых хранилищ данных

Open source *
Sun Microsystems уже несколько лет пытается восстановиться после кризиса на рынке серверов. Компания сильно пострадала в последние годы, когда набрали популярность дешёвые серверы Intel с Linux на борту, что подрубило на корню основы финансового благополучия Sun. Однако, это был хороший урок. Теперь Sun намеревается взять реванш и сотворить такую же революцию на рынке сетевых хранилищ данных (NAS). Если всё получится, то проприетарные решения от NetApp и EMC (и проч.) вымрут как динозавры.

После полутора лет разработки (анонс состоялся в феврале 2007 года) компания Sun всё-таки готова представить набор программных компонентов с открытыми исходными кодами для создания сетевых хранилищ данных на платформе x86 (OpenSolaris).

Проект носит кодовое имя FISHworks (FISH означает “Fully Integrated Software and Hardware”), а первые устройства NAS на новой платформе появится на рынке до конца текущего года, обещает Sun. Это будут высокопроизводительные системы для корпоративных заказчиков. Затем компания будет заключать партнёрские соглашения с производителями и поставлять им FISHworks по OEM-соглашениям. Через некоторое время программные компоненты FISHworks появятся и в открытом доступе. Разработка до сих пор держится в секрете, но на днях некоторые подробности просочились в прессу.
Читать дальше →
Total votes 11: ↑10 and ↓1 +9
Views 1.2K
Comments 0

Концепция Open Storage — открытые системы хранения

Lumber room

Что такое Open Storage ?


image
Открытая архитектура

Индустриальные стандарты в аппаратной части и ПО с открытым кодом с интегрированной функциональностью систем хранения данных (более высокая масштабируемость и низкая стоимость владения в сравнении с проприетарными системами)
Читать дальше →
Total votes 11: ↑7 and ↓4 +3
Views 1.5K
Comments 10

Неприкрытая ZFS

Lumber room
Translation
Когда в Sun проектировали ZFS, они выбросили сборник правил и создали нечто, не имеющее прямых аналогов в любой другой UNIX-подобной системе. David Chisnall рассмотрел какие изменения обычных моделей хранения произвели, какие основы заложены в систему, и как это все совмещается друг с другом.



Каждые несколько лет, кто-то делает предсказание относительно того, как много частных компьютерных ресурсов, вероятно, потребуется в будущем. Позже, все смеются над собой, над тем насколько наивны они были. В проектировании ZFS Sun попыталась избежать данной ошибки.

Пока весь мир переходит на 64-битные файловые системы, Sun внедряет 128-битную файловую систему. Придем ли мы когда-нибудь к необходимости в таких больших размерах? Не сразу. Масса планеты Земля приблизительно равна 6*10^24 кг. Если бы мы взяли соответствующую массу водорода, то у нас бы получилось 3.6*10^48 атомов. 128-битная файловая система может индексировать 2^128, или 10^38 блоков размещения информации. Если вы построите хранилище, в котором каждый атом хранится как единичный бит водорода (не считая места, которое вам необходимо для управляющей логики), вы можете построить около 300000 превышающих массу Земли устройств, если каждое из них будет иметь 128-битную файловую систему с 4Кб блоками размещения данных. Мы построим жесткие диски размером с континенты, прежде чем достигнем пределов пространства ZFS.

Так есть ли какой либо смысл в 128-битной файловой системе? Не совсем. Однако, если текущие тенденции продолжатся, мы начнем достигать пределов 64-битных файловых систем в ближайшие 5-10 лет. Возможно, хватило бы 80-битной файловой системы для иных непредвиденных ограничений, могущих стать причиной замены до того, как закончится пространство, но большинству компьютеров оперировать с 80-битными числами сложнее чем со 128-битными. Поэтому Sun выпустила 128-битную систему.

ну и как оно устроено?
Total votes 32: ↑29 and ↓3 +26
Views 1.6K
Comments 12

ZFS в Linux: почти хорошо

System administration *
Как известно, поддержка ZFS отсутствует в ядре Linux по причине проблем с лицензированием. Однако, существует (правда практически не развивается) проект ZFS-FUSE.

Эта реализация основана на вынесении файловой системы в user-space (FUSE). Таким образом, непосредственно код в ядро не вносится и лицензии не противоречит.

Состоит она из демона (zfs-fused), утилит управления (zfs, zpool, zdump и т.д.) и fuse-модуля.

Решил я ради теста себе установить. Установил. Работет. :)

Более подробный отчет и несколько тестов.
Total votes 24: ↑18 and ↓6 +12
Views 1.9K
Comments 58

Apple закрывает open source проект ZFS

IT-companies
Apple сегодня сообщила о завершении своего open source проекта ZFS. Почтовая рассылка и репозитарий, вскоре, так же будут удалены.
image
ZFS (Zettabyte File System) является продвинутой файловой системой, изначально разрабатываемой Sun Microsystems, которая была портирована Apple на Mac OS X и представлена в качестве open source проекта, доступного на страницах Mac OS Forge с 2007 года.
Читать дальше →
Total votes 51: ↑39 and ↓12 +27
Views 1.8K
Comments 41

Правильное приготовление и работа с ZFS под FreeBSD

*nix *
Некоторое время назад возникла задача построения достаточно вместительного массива для хранения оперативных инкрементальных бекапов. Причём тратить деньги особо не хотелось, а место было нужно. Решение было простым и достаточно удобным. Далее много текста.

Читать дальше →
Total votes 39: ↑36 and ↓3 +33
Views 41K
Comments 45

A look at MySQL on ZFS

MySQL *
Translation
image

Представляю вниманию общественности перевод достаточно большой статьи об использовании MySQL на ZFS, а так же сравнительное тестирование ZFS и UFS.
Читать дальше →
Total votes 47: ↑43 and ↓4 +39
Views 6K
Comments 29

Тестирование MySQL: ZFS vs UFS

MySQL *
zfsВозникла у меня некоторое время назад нужда в создании мгновенных бекапов базы данных mysql. Желание существовало уже давно, но как-то до сих пор вроде нормально жилось с репликацией и бекапом со slave. Но случаи бывают разные, и возможность снять мгновенный снимок с файловой системы master-сервера может очень сильно облегчить жизнь. Я понял, что нужен мне snapshot. А там где snapshot, там полуавтоматически появляется на горизонте ZFS. Кроме того в ней еще есть некоторые вкусности, которые на данный момент мне вроде и не особо нужны, но в принципе их наличие может значительно скрасить жизнь.

Сам процесс получения снимка файловой системы я пока оставляю в стороне, но пытаюсь получить некоторое представление о ZFS в сравнении с UFS в моих условиях. Недавно я публиковал на хабре перевод материала от John David Duncan. Там описано все достаточно вкусно, но надо пробовать самому.

Я попробовал…
Читать дальше →
Total votes 8: ↑5 and ↓3 +2
Views 7.7K
Comments 18

Реализована родная поддержка файловой системы ZFS для Linux

Configuring Linux *
Брайан Белендорф, бывший основным разработчиком веб-сервера Apache, представил новую версию проекта по реализации родной поддержки файловой системы ZFS (Zettabyte File System) для Linux.

Эта файловая система была изначально создана в Sun Microsystems для операционной системы Solaris. Она поддерживает большие объёмы данных, объединяет концепции файловой системы и менеджера логических дисков и физических носителей, инновационную структуру данных на дисках, легковесные файловые системы, а также простое управление томами хранения данных.

В отличие от системы ZFS-FUSE, работающей на пользовательском уровне через подсистему FUSE, новый проект реализован в виде модуля ядра Linux. Интеграции кода ZFS в ядро Linux мешает несовместимость лицензий GPLv2 и CDDL, что исключает возможность смешивания кода под данными лицензиями. Для обхода данного ограничения, Белендорф решил распространять свой продукт целиком под лицензией CDDL в виде отдельно загружаемого модуля к ядру Linux, который поставляется отдельно от ядра.
Читать дальше →
Total votes 56: ↑44 and ↓12 +32
Views 2.6K
Comments 26

Началось тестирование ZFS v28 для FreeBSD

*nix *
Pawel Jakub Dawidek завершил работу по портированию во FreeBSD последней версии файловой системы ZFS и призвал энтузиастов принять участие в тестировании кода, перед его интеграцией в кодовую базу FreeBSD HEAD. Отдельно сообщается, что несмотря на стагнацию проекта OpenSolaris, работа над ZFS во FreeBSD будет продолжена своими силами, для этого уже подобралась неплохая команда разработчиков, некоторые из которых ранее принимали участие в разработке OpenSolaris, и несколько компаний выразили свой интерес к проекту. Большое внимание также будет уделяться сотрудничеству с проектом IllumOS, в рамках которого создано полностью свободное и развиваемое независимым сообществом разработчиков ответвление от кодовой базы OpenSolaris.
Читать дальше →
Total votes 38: ↑32 and ↓6 +26
Views 1.2K
Comments 6

Автоматическая установка FreeBSD 8.2-RELEASE на ZFS

*nix *
Все мы знаем что время от времени очень редко, практически никогда, но возникает ситуация, при которой внеплановый reset или сбой питания сервера FreeBSD приводит к остановке загрузки с настойчивым требованием запустить fsck от руки. Бывает, сервер соскучился, админ давно его не навещал, а может полнолуние какое, но данное явление в природе встречается. Пришла пора, думаю, переезжать на ZFS — народ рекомендует, стадию бета теста давно прошла, дисковое пространство зря не пропадает, и… в ZFS отсутствует потребность в утилите fsck для проверки целостности файловой системы(!). Проштудировав маны, wiki, лиссяру, пришел к выводу что надо кое-где рашпилем проточить, причесать, лакирнуть и пойдет в массы. Действительно, процесс, по сравнению со стандартным sysinstall, несколько затруднен, но зато быстр как никогда — 2 минуты и сервер с корневым разделом на ZFS готов.
Ну и как это сделать?
Total votes 59: ↑58 and ↓1 +57
Views 6.4K
Comments 37

SmartOS: полностью современная ОС

Cloud computing *
Joyent, компания, приютившая Node.js и разработавшая программное обеспечения для частных облаков, запускает новый open-source проект. SmartOS, уже используемая в SmartDataCenter и публичных облаках Joyent, доступна под open-source лицензией, так же, как и Node.js.

SmartOS объединяет 4 самые революционные технологии ОС последнего десятилетия — Zones, ZFS, DTrace и KVM — в одной операционной системе. Она превращает любой сервер в высокоэффективную платформу для хостинга многопользовательских приложений и приложений для хранения данных. SmartOS offers unique, innovative tools for application developers, service providers and data center operators – tuned and hardened for modern datacenter deployment. SmartOS также предлагает уникальные, инновационные инструменты для разработчиков приложений, сервис-провайдеров и операторов дата-центров.

Страница проекта
Исходники на github

Смотрите также новость на GigaOm.
Total votes 50: ↑38 and ↓12 +26
Views 13K
Comments 25

Переход с UFS на ZFS, опасные операции с ROOT разделом

System administration *
Сегодня решил рассмотреть интересный вопрос касательно перехода на ZFS.
Для начала ознакомимся с тем что у нас имеется для соответствующего эксперимента, имеется сервер SunFire T2000, с 4 дисками SAS.

image
Читать дальше →
Total votes 5: ↑5 and ↓0 +5
Views 2.3K
Comments 2

Исходный код ядра Solaris 11

Open source *
Некоторое время назад корпорация Oracle закрыла исходники Solaris и прекратила присылать изменения в OpenSolaris. Такое решение вызвало недовольство многих разработчиков, в том числе некоторых сотрудников компании Oracle. Судя по всему, один из них нарушил корпоративную дисциплину и выложил в открытый доступ исходные коды ядра Solaris 11, так что разработчики открытого проекта OpenIndiana (форк OpenSolaris) могут посмотреть, какие изменения сделаны в ядре, обеспечить совместимость с файловой системой ZFS и т.д.

solaris11.tar.bz2

Правда, использовать фрагменты этого кода в своих проектах нельзя, пока Oracle официально не опубликует их под свободной лицензией CDDL. Кто знает, вдруг Oracle специально организовала эту «утечку», чтобы потом засудить организацию Illumos Foundation, которая занимается разработкой OpenIndiana.
Total votes 45: ↑38 and ↓7 +31
Views 2.8K
Comments 32

Как работает ZFS — часть 1: vdev

Open source *
Vdev, или Virtual Device — это базовая единица, на которой строится массив данных ZFS (zpool). Для работы ZFS необходим как минимум один vdev — виртуальное устройство, которое позволяет случайный доступ к информации на уровне блоков.

Обычно, в качестве таких блоков используются целые диски или iScsi/FC LUNы (raw-disk vdev), но можно также использовать разделы дисков или файлы. Целые диски предпочтительнее, так как для них ZFS использует onboard write cache, в результате чего производительность записи может значительно улучшиться. Я пока не буду объяснять разницу между logical vdev и leaf vdev — это топик для отдельной статьи про то как работает RaidzN и zfs mirror.
src.illumos.org/source/xref/illumos-gate/usr/src/uts/common/fs/zfs/vdev_disk.c#314
if (vd->vdev_wholedisk == 1) 
{
	int wce = 1;
	/*
	 * If we own the whole disk, try to enable disk write caching.
	 * We ignore errors because it's OK if we can't do it.
	 */
	(void) ldi_ioctl(dvd->vd_lh, DKIOCSETWCE, (intptr_t)&wce, FKIOCTL, kcred, NULL);
}

В описании структуры виртуального устройства можно посмотреть какие параметры используются для чего, но я не собираюсь давать объяснение каждому — цель статьи — описание собственно того как ZFS хранит и пишет данные.

Каждый vdev разделен на логические разделы (metaslab),
Читать дальше →
Total votes 42: ↑39 and ↓3 +36
Views 28K
Comments 38

Как работает ZFS — часть 2: metaslab

Open source *
В первой части я описал как организованы данные на vdev в ZFS. Вторая часть описывает как работает алгоритм выбора собственно места, куда запись будет идти в данный момент.

Здесь я немного усложню задачу — в первой части был описан только один vdev; здесь их у нас будет несколько, поскольку алгоритм должен выбрать и vdev, куда мы будем писать блок данных, и metaslab внутри vdev'a. В продакшн системе может быть несколько десятков vdev, и правильно распределить данные по ним критично — перебалансировать их мы уже не сможем без копирования всех данных. Цель правильного алгоритма — распараллелить данные так, чтобы на каждом девайсе их было примерно одинаковое количество, выровнять неравномерное заполнение, но и не перегрузить один из девайсов (это будет тормозить запись на весь пул).

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          c1t6d0    ONLINE       0     0     0
          c1t5d0    ONLINE       0     0     0


Для начала, важное замечание: ZFS рассчитан на то, что все девайсы в пуле имеют одинаковый размер. Иначе, например если добавить 2Тб диск в пул из 1Тб дисков, на 2Тб диске в результате окажется в два раза больше данных, и он начнёт влиять на суммарный IOPs системы — алгоритм аллокатора учитывает процент заполнения, а не количество данных в байтах.

На данный момент в ZFS есть четыре алгоритма аллокатора. Переменная zfs_metaslab_ops содержит поинтер на структуру space_map_ops_t, в которой есть поинтеры на семь функций, которые использует каждый конкретный алгоритм. Например, в Illumos используется алгоритм metaslab_df, и соответствующий стракт с поинтерами на функции выглядит вот так:
Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Views 10K
Comments 4