POHMELFS: NFS по-новому

[@NikSan]

Когда прочитал в заголовке NFS, подумал про игрушку )

[@stolen]

Каждый все понимает в меру своей испорченности :)

[@NotXakep]

Когда-то давным давно…
notxakep.habrahabr.ru/blog/35525/
P.S. хабр что-то с ним сделал — год назад вариантов было два, а сейчас 4 выдаёт и редактирование поста не помогает…

[@rgaliull]

хорошая работа… вот бы еще кто сравнил с люстрой… хотя другая весовая категория…
пс. второй тест одинаков с первым, а время разное… опечатка или файл так круто кэшируется?

[@stolen]

я написал. Первое — чтение из сети, второе — запись, которая (предположительно) кешируется и продолжается в фоне.

[@ivlis]

stolen@stolen ~/soft/pohmelfs-server.git $ time cat /mnt/pohmel/share/GRTMPVOL_RU_20.10.08.iso >/dev/null

Что-то не похоже на запись :)

Попробуйте ещё 2 раза один и тот же файл прочитать, поидее должно быть быстрее.

[@stolen]

Это как раз чтение. Про запись я не стал писать подробно, там я использовал dd в файл на сервере.
Тот же файл второй раз читается за доли секунды вне зависимости от ФС — сказывается кеширование на уровне обращения к файловому дереву на клиенте.

[@stolen]

А, я Вас неправильно понял. То тестирование, которое здесь приведено, показывает время чтения файла с разных ФС. Второй запуск чтения с PohmelFS демонстрирует просто кеширование, которое в случае с NFS не хуже — по-видимому, кеш на уровне обращения приложения к ФС.

[@ivlis]

И неужели ядро 700 метров может закешить? Интересно куда?

Вообще интересны всякие тесты, типа там запись 100 маленьких файлов, или одного большого, устойчивость к вытыканию кабеля и тп.

[@stolen]

Про мелкие файлы, кажется, есть у разработчика тесты. Про кабель пока не могу потестить, настраивал удаленно :)

[@stolen]

клиентская машина с 4ГБ оперативы, из которых приложения занимают чуть более одного. Так что, теоретически можно 4 файла по 700М закешировать без проблем.

[@rgaliull]

пардон, за что минус?
за совершенно позитивный комментарий? хм… странно
пс, а где должно быть видно что cat /mnt/pohmel/share/GRTMPVOL_RU_20.10.08.iso >/dev/null в разных случаях то чтение то запись??? неочевидно, пардон.

[@stolen]

минус не мой. Возместил :)

[@turich]

POHMELFS (Parallel Optimized Host Message Exchange Layered File System) is an asynchronous cache coherent distributed file system developed by Russian Linux hacker Evgeniy Polyakov.

Вот почему как только линукс, так сразу хакер?

[@stolen]

Вы неправильно поняли. Он не потому хакер, что сидит под линуксом. Он хакер линукса.
Кажется, kernel-hacker-ами называют практически всех, кто что-то дописывает в ядро.

[@turich]

Хм, спасибо. не знал об этом применении этого слова.

[@Halt]

Вообще то, это и есть исконный смысл данного слова. А «хакер» в смысле «взломщик» появилось много позже из-за голивудщины

[@cblp]

Про лесорубов уже все забыли?

[@Halt]

Я имел в виду исконное в ITшной среде :)

[@avikos]

Хакерами, вроде, вообще всех называли раньше кто программил. Это в наше время это понятие сильно уже исковеркали. От части благодаря забугорным фильмам

[@ivlis]

Хакер это не тот кто ворует у бабушек деньги с их visa platinum, а кто очень хорошо шарит в коддинге и испольщует нестандартные методы.

[@rgaliull]

во-во… я своим студентам начал оценки снижать. Говорю на первой лекции, что у нас есть злоумышленники, а хакеры — в кино.

[@non7top]

на википедии забанили, мой юный друк?

[@drujebober]

а почему топик закрыт? может откроете?

[@stolen]

А зачем? Вещь специфична для линукса, а если открыть, то набегут всякие холиварщики и все испортят.
В прочем, если Вас кто-то еще поддержит, я открою.

[@drujebober]

просто хотел дать линк не хаброчеловеку.

[@stolen]

Убедили. Сейчас поправлю.

[@drujebober]

спасибо

[@bolk]

Автор, кстати, сейчас работает у нас, в «Яндексе».

[@ivlis]

А раньше учился на физтехе. Было даже как-то захожу на общажный сервак по ssh, а он там в who есть :)

[@2moderator]

Я вчера на кофе с ним познакомился. Он рассказывал о планах интеграции с Elliptics Network.

[@2moderator]

*конфе.

Эффект, словно парень из будущего.

[@stolen]

Здорово. Я хочу тоже Яндексе работать…

[@bolk]

company.yandex.ru/inside/job/

[@stolen]

Да я знаю. Ходил на собеседование. Но есть некоторые обстоятельства, по которым меня пока что не могут оформить (по крайней мере, HR-менеджер так сказала).

[@Halt]

А вы напрямую попробуйте :-)

[@icCE]

Это как? Просто на текущий момент сам думаю искать работу, ибо старая просто поперек горло ^_^
Только вот как всегда, если судить по yandex, это знаем, это не знаем, это изучали, это вроде как не надо было…

[@Halt]

Искать общих знакомых :) Или заводить :) А устраиваться на общих основаниях всегда гемор к сожалению…

[@stolen]

У другой известной интернет-компании, кажется, есть EBFS.

[@bolk]

Ещё бы:

bolk-dev ~ $ telnet money.yandex.ru 80
Trying 213.180.204.32…
Connected to money.yandex.ru.
Escape character is '^]'.

HTTP/1.1 400 Bad Request
Connection: close
Content-Length: 48
Content-Type: text/html
Date: Tue, 23 Jun 2009 13:25:09 GMT
Last-Modified: Tue, 23 Jun 2009 13:25:09 GMT
Server: BAIDA/1.0.0

Bad request syntax or something strange happen
Connection closed by foreign host.

[@bolk]

Я не переписывал :) За других не скажу :)

[@maxcom]

забавный сервак, единственный кто говорит «Chunked» с большой буквы, наступали на это в самописном клиенте

[@shuvalov]

А есть ли утилиты для просмотра загрузки? Аналогичные nfsstat

[@stolen]

Не встречал. Скорее всего, пока нет, но есть простор для творчества.

[@cblnok]

Интересный пост, автору спасибо огромное. Я данный модуль встречал и около получаса думал что за похмелфс. Но руки погуглить так и недошли. Еще раз спасибо, теперь буду хоть чуток к нему ближе. +1

[@romx]

Ну то, что в Linux штатный NFS, э-э… ну скажм так, далек от оптимальности в плане быстродействия, это, по моему, ни для кого, интересующегося состоянием дел в этой области не секрет.

[@stolen]

Именно потому я и написал «старый недобрый NFS»

[@romx]

Так что невелика доблесть — обогнать инвалида.

Просто не стоило ставить знак равенства между NFS «вообще» и Linux NFS.

Что же касается NFS «вообще», то против того, что он есть, буквально, «всюду», стандартизирован, и всеми понимаем, новой «игрушке» пока предложить нечего.
«Убийцы NFS» приходят с частотой «убийц афонов», но примерно с тем же результатом.

[@stolen]

Вы имеете в виду, когда несколько клиентов пишут один и тот же файл?

[@romx]

К какой версии NFS относится вопрос? 3, 4, 4.1?

Впрочем, ответ очевиден, по моему. Иначе бы NFS не использовалась бы _так_ широко.

[@stolen]

Лично у меня в домашних условиях NFS4 падает гораздо чаще, чем NFS3. Про Lock Manager ничего не скажу, не сталкивался.

[@romx]

У меня есть полностью противоположные сведения.

[@stolen]

NFS не всегда выдерживает даже раздачу в 10 потоков через DC++. Что уж говорить про продакшн…

[@romx]

О, да, задача! 10 потоков DC++ :)

Простите, я думал, что мы о по настоящему серьезных промышленных задачах говорим.

Темой «домашнего компьютера», извините, не интересовался, наверное в нем есть какие-то проблемы для NFS. ;)

[@stolen]

Ну так и я о том же. Если оно с таким пустяком нормально справиться не может, куда ему в серьезный проект…
Видел я и файлопомойку, основанную на NFS. Проблемы ровно те же — внезапно ломается по непонятным причинам.

[@nshopik]

Работает на 10К почтовых пользователях шарено по GigE, ничего не ломается. Нет конечно POHMELFS может и крута, но пока оно в разработке говорить о ней рано, слишком молода. По мне так NFS лучше чем SMB ;)

[@stolen]

Возможно, NFS стабилен на маленьких файлах.
А про SMB лучше и не говорите :) Мне хватило одного кернел паника из-за link down.

[@icCE]

Да нормально все с smb, не фантан по скорости, но для офиса вполне хватает.

Другой вопрос, что нормальной альтернативы нет :(

Вот если бы poxmelfs можно было бы внедрить в корп структуру, были бы клиенты под все ОСИ зла, вот было бы неплохо.

P.S Кстати как у нее с ACL?

[@romx]

Еще раз. Возможно для «файлопомойки» есть непреодлимые трудности. Подозреваю вида «прокладка между креслом админа и клавиатурой» ;)

Тем не менее в мире есть по настоящему большие проекты, живущие полностью на NFS.

Датацентр Oracle в Остине: Oracle 9i, 10g, 11 на Linux по NFS. 3 петбайта данных, 12 тысяч серверов (на 2005 год, новее данные не публиковались)
www.oracle.com/broadband/demo/adc/resources/adc_fact.html
www.youtube.com/watch?v=fjnkfLkYNis
Свыше 1000 виртуальных машин на 35 серверах VMware ESX3 в компании Invesco.
Хранилище данных всем известного Facebook.
Flickr, как и вообще подавляющая часть Yahoo!..

Но это, конечно не 10 потоков DC++ :)

[@stolen]

Дал бы еще кто инструкции по тонкой настройке. На кривость рук сослаться всегда можно.
Кстати, возможно, сильно влияет качество сетевых карт — на дорогих экземплярах и latency меньше, и буфер больше, и качество приемника и передатчика должно быть выше.
Это могло бы объяснить нестабильность NFS дома на дешевых реалтеках/нфорсах/свичах и в продакшне на дешевых серверах с не такими уж и хорошими интегрированными сетевухами.

[@Halt]

У меня большие подозрения что там от NFS одно название уже осталось… GPL конечно чтут, но есть многое на свете. Действительно, в плане той же настройки и прочего окружения

[@romx]

На конце стораджа там точно не Linux, о чем я и говорил с самого начала. Там NetApp. Это такой софтверно-железный NAS на своей собственной OS и FS.

Кривенький NFS в Линуксе, ну уж что уродилось. Есть прямее, но не в Линуксе. Или вернее в Линуксе тоже можно доточить, говорят. Как пример тот же Oracle на Linux.

Вон, говорят, в OpenFiler уже получше. Хотя в основе там CentOS, но рук, как я знаю, приложено было много, в том числе и к NFS.

[@romx]

Не зря в Oracle 11 теперь свой собственный клиент NFS (DirectNFS) внутри.

Но вообще же это очень по русски — не суметь настроить NFS и написать вместо этого свою файловую систему :)

[@romx]

Поправлю сам себя по Остину:

на 2007 год:
22 тысячи серверов, добавляется примерно 100 в неделю.
9,5 PB стораджа (NFS)
Свыше 1,7 миллионов пользователей
Крупнейшая инсталляция Oracle в мире.

14 мегаватт резервных дизелей питания ;)

[@Halt]

Админы наверное картошку и яичницу жарят, не выходя из гермозоны %)

[@romx]

Э-э… Чего? 8-)

[@nshopik]

Сейчас активно ведется разработка Parallel NFS.

[@stolen]

По данным разработчика, недописанный PohmelFS работает быстрее, чем недописанный Parallel NFS. Исключение — Random read, где PohmelFS очень сильно проигрывает.

[@romx]

Если вы про pNFS АКА NFS v4.1 то разрабтка уже, насколько я знаю, прошла стандартизацию и готова в продакшн.

[@non7top]

автор, дай ебилды.

[@stolen]

нету :)
Да и не очень умею писать их, если честно. А при той недописанности, которая присуща проекту, вообще смысла в нем не вижу, ради двух-то бинариков.

[@non7top]

дело не в недописанности, не в смысле, не в двух бинарниках. дело в порядке. gentoo это порядок, в отличие остальных дистров где принято ставить через configure make install.
придетсо на досуге саоммоу писть ебилд.

[@stolen]

Насколько я могу судить о дистрах, среди линуксов таким свойством обладает только LFS, который и дистром-то не является. Ну, может быть, еще слака, которая идеологически и линуксом-то не особо является.

[@non7top]

да думаю если щас зайти на вики любого дистра, там там в очень многих статьях будут решения вроде configure / make. у убунты таких точно полно, на арче видел, и вообще.

[@Mezomish]

Если криворукий автор статьи написал «сделайте make install», то это ещё не говорит о том, что в этом дистре «принято ставить через make install». В пакетных дистрах принято ставить пакетами. Специально для самосборов, которые не хотят заморачиваться «правильной» сборкой, существует checkinstall. Если какой-то автор статьи его не осилил — это проблемы автора статьи, а не дистрибутива.

[@non7top]

если вики оффициальный, то это проблема дистра.испорченные мозги юзаров — это тоже проблема дистра.

[@Mezomish]

Можно вопрос?
Вы перелопатили вики всех дистров, что так уверенно заявляете «gentoo это порядок, в отличие остальных дистров где принято ставить через configure make install»?
Или просто взяли пару «подходящих» и экстраполировали на все остальные?

[@non7top]

Да, всех.

[@Mezomish]

Можно линк на официальную вики Дебиана, где говорят «сделайте make install»?

[@non7top]

Дебиан это тоже такой дистрибутив бывает?

[@Mezomish]

Вопросов больше не имею.