Небольшое хранилище для небольших файлов

[deilux]

При создании программного RAID10 важную роль играет выбор layout (схема физического расположения chunk'ов на дисках). near (по-умолчанию) даёт указанную в статье скорость чтения, а far — позволяет догнать RAID0:

/dev/md127:
Timing buffered disk reads: 1624 MB in 3.00 seconds = 540.49 MB/sec

[deilux]

P.S. Layout выбирается один раз при создании массива.

Если кому интересно углубиться в подробности, то есть объяснение с картинками и тестами.

[chersanya]

А как так получилось, что с одним диском было 13 Мб/с, а с четырьмя стало 600+ Мб/с? Как я понимаю, должно быть не более, чем в 4 раза быстрее, разве нет?

[ToSHiC]

Потому что это сравнение тёплого с мягким. 600 МБ/с — это, похоже, заслуга пейджкэша. А ещё автор забыл одну штуку — скорость времени понадобится для восстановления массива после выпадения одного диска, особенно под рабочей нагрузкой. Если нагрузка существенная — то рейд может никогда не собраться.

[deilux]

Скорее, в первом случае — поверх ФС с кучей мелких файлов, а во втором — поверх голого рейда линейным чтением.

[piroman]

Но зачем? SSD уже 0.7 $ за гиг.

[oxpa]

coldattic.info/shvedsky/pro/blogs/a-foo-walks-into-a-bar/posts/70
хотя времени уже прошло много.
Попробуйте zfs. и может быть freebsd, если боитесь реализаций на линуксе.

[vancho73]

тогда уж Solaris
правда, правильная Соляра только на Sparc

[track]

Ага-ага, а правильная MacOS — только на PowerPC :)

[vancho73]

нет. Переход Apple на Intel был продиктован именно слабой производительностью PowerPC в последние годы. Не нужно их путать с настоящими процами от IBM — Power…

[ctapnep]

не слабой производительностью PowerPC (которые для Apple таки делала именно IBM), а слабой производительностью заводов IBM, которые не успевали поставлять нужное количество процессоров для Apple.

[vancho73]

Делала IBM, но архитектура не та! И переход был связан именно со слабостью процов.

[vancho73]

а если эти все файлы — в СУБД типа Оракла или Intersystems Cache? Они там у сеья сами сорганищовали бы как надо, проиндексировали бы и пр…. И API доступа сделать…. Задача-то не обрисовали, что и как и зачем….

[Lincoln6Echo]

Эм… Файловые таблицы SQL Server '12 — слегка круче. Даже не слегка, с учетом остальной инфраструктуры SQL. Еще в висте хотели сделать файловую систему ОС на основе сиквела, но не срослось. Хотя тогда на многие зявленные фишки потенции не хватило, хотя теоретическая база выгоды была очевидной еще задолго до.
Сейчас вроде как допили — сам хочу попробовать, тоже сотни тысяч файлов. Вин или фейл из этого на практике выйдет — отпишусь постом.

[ctapnep]

Согласно спекам от WD ( www.wdc.com/global/products/specs/?driveID=1092&language=1 ) скорость чтения и записи на эти винты — 150 МБ/с. Даже если предположить, что нигде ничего не теряется (ни в контроллере, ни в RAID'e, ни в ядре, ни в файловых операциях), то скорость чтения с 4-х винтов одновременно не может превышать 600 МБ/с. А тут она достигает 700. Что-то не складывается. Или тестирование проводилось неаккуратно или еще что…