Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 198
Для DIY мне, как новичку, не хватает кармы. Так что при желании модераторов — можно перетащить туда.
Хм, а что это за новая величина ТеРРабайт?
>террабайт
п*зд*ц
п*зд*ц
скорость работы такого, ммм, хранилища в студию. Интересуют TPS-ы.
А каким образом организовано дисковое пространство (диски объединены в RAID)?
На практике сейчас:
1 на ИДЕ — загрузочный-системный.
3 по 400 гиг — в RAID-5
2 терабайта + терабайт + 5 по 400 гиг — одиночные.
20 терабайт — это потенциальная ёмкость хранилища, на которую пока, увы, нет бабок…
1 на ИДЕ — загрузочный-системный.
3 по 400 гиг — в RAID-5
2 терабайта + терабайт + 5 по 400 гиг — одиночные.
20 терабайт — это потенциальная ёмкость хранилища, на которую пока, увы, нет бабок…
3 по 400 гиг — в RAID-5
Насколько я понимаю, суммарная емкость такого хранилища 800 гиг.
2 терабайта + терабайт + 5 по 400 гиг — одиночные.
Если объединить 8х400-гиговых винтов в рейд 5, получится 2,8 терабайт суперзащищенного монолитного места.
А сейчас из тех же восьми винтов сделано 800 + 5*400 = те же 2,8 тера, но только не зарейденные, ненадеждные и неудобные т.к. образуют как минимум 6 разный разделов.
У меня дежавю? Где-то я этот топик недавно уже видел…
Он же написал, что перенёс из «песочницы»
Топик ещё параллельно размещала девушка (видимо знакомая автора).
я не читаю песочницу
Где же фото этого «безобразия» в разрезе?
Интересная статья. Вчера уже читал в песочнице и у Вашей знакомой.
Чтобы не читать в 3й раз — скажите, что за пару «весёлых» вещей, которые тут и были добавлены.
Как я понял — одна из таких вещей про кнопочку, которая у корзины. Есть ещё какие-то подводные камни?
Вообще подобные статьи — прям как ножом по одному месту. Всё хочу собрать себе домашнее файловое хранилище, где-то на 4-6 терабайт, да всё руки не доходят. Даже уже место присмотрел, где он будет у меня стоять :)
Чтобы не читать в 3й раз — скажите, что за пару «весёлых» вещей, которые тут и были добавлены.
Как я понял — одна из таких вещей про кнопочку, которая у корзины. Есть ещё какие-то подводные камни?
Вообще подобные статьи — прям как ножом по одному месту. Всё хочу собрать себе домашнее файловое хранилище, где-то на 4-6 терабайт, да всё руки не доходят. Даже уже место присмотрел, где он будет у меня стоять :)
А с надежностью-то как? Полетит один винт — сразу минус 2 ТБ информации ценной. Полетит блок питания — может унести за собой все 20.
Для киношной компании эта потеря может оказаться невосполнимой.
Для киношной компании эта потеря может оказаться невосполнимой.
См. чуть ниже: 20 тер — потенциальная ёмкость.
Если есть желание — можно объединить все в единый длинный массив, или зазеркалировать все 10 дисков в один на 2 терабайта, но с не мереной надёжностью… Или комбинации, RAID-5 и т.д. и т.п.
Если есть желание — можно объединить все в единый длинный массив, или зазеркалировать все 10 дисков в один на 2 терабайта, но с не мереной надёжностью… Или комбинации, RAID-5 и т.д. и т.п.
Вероятность двойного сбоя RAID-5 мне кажется выше вероятности сгорания всех винчестеров по причине вылета БП. Сейчас уже вроде как делают грамотные БП, которые если уж и горят — начинку за собой не тянут. Хотя, надо признать, я уже успел словить двойной сбой RAID-5. Правда программный, так что легко восстановился, но всё же))
А заменить БП — огроменная проблема?
Про настолько громкие вылеты, чтобы БП ещё и сжёг харды, пустив через себя 220 и выше вольт — тут, извини, вероятность и для супер-систем с дублированием есть!
Тогда уж в целях борьбы с паранойей можно поставить два десятка компов с одиночными дисками, увязать в сеть (причём в т.ч. — через Инет, разместив и в разных помещениях), т.к. не дай бог здание сгорит, его взорвут, затопят и т.д. и т.п. И поставить распределённый RAID, когда диски одного массива могут находиться на разных концах Земли!
Ясен пень — это решение не для Пиксара какого-нить, а для небольшой компашки, которой рабочие материалы складировать некуда!
Про настолько громкие вылеты, чтобы БП ещё и сжёг харды, пустив через себя 220 и выше вольт — тут, извини, вероятность и для супер-систем с дублированием есть!
Тогда уж в целях борьбы с паранойей можно поставить два десятка компов с одиночными дисками, увязать в сеть (причём в т.ч. — через Инет, разместив и в разных помещениях), т.к. не дай бог здание сгорит, его взорвут, затопят и т.д. и т.п. И поставить распределённый RAID, когда диски одного массива могут находиться на разных концах Земли!
Ясен пень — это решение не для Пиксара какого-нить, а для небольшой компашки, которой рабочие материалы складировать некуда!
«Про настолько громкие вылеты, чтобы БП ещё и сжёг харды, пустив через себя 220 и выше вольт — тут, извини, вероятность и для супер-систем с дублированием есть!»
Вот именно поэтому перед БП стоит оффлайновый упс, а после — power-manager.
А вообще, очевидно, что при прочих равных надежность пропорциональна вложениям (причем каждая новая девятка после запятой стоит на порядок больше предыдущей). И надо балансировать потребности и затраты. И так же очевидно, что «сервачок для домашнего пользования» (хотя у меня и дома везде рейды) и рабочий сервер в компании — это разные потребности.
А поскольку «одна кинокомпания» так и не рассказала, что именно им надо, вариантов миллион. Самый простой и дешевый, кстати, (а) просто не пытаться сделать 20Гб в одном корпусе и (б) не делать их надежными, а просто сбэкапить раза два.
Вот именно поэтому перед БП стоит оффлайновый упс, а после — power-manager.
А вообще, очевидно, что при прочих равных надежность пропорциональна вложениям (причем каждая новая девятка после запятой стоит на порядок больше предыдущей). И надо балансировать потребности и затраты. И так же очевидно, что «сервачок для домашнего пользования» (хотя у меня и дома везде рейды) и рабочий сервер в компании — это разные потребности.
А поскольку «одна кинокомпания» так и не рассказала, что именно им надо, вариантов миллион. Самый простой и дешевый, кстати, (а) просто не пытаться сделать 20Гб в одном корпусе и (б) не делать их надежными, а просто сбэкапить раза два.
УПС — это другой вопрос, согласись? Я-же не говорю, что система БЕЗ УПСа работает?!
«Профессиональные решения» они как-бэ тоже «Все харды в одном корпусе», просто с дублированием по БП и т.д. — для непредвиденных ситуация все эти резервные копирования осуществляются опять таки не на тот-же комп, так что тут вопрос не о том!
«Профессиональные решения» они как-бэ тоже «Все харды в одном корпусе», просто с дублированием по БП и т.д. — для непредвиденных ситуация все эти резервные копирования осуществляются опять таки не на тот-же комп, так что тут вопрос не о том!
"«Профессиональные решения» они как-бэ тоже «Все харды в одном корпусе»"
Нет. Они разные. В зависимости от задачи.
Нет. Они разные. В зависимости от задачи.
Угу. Вот я и выложил свой вариант решения ОДНОЙ КОНКРЕТНОЙ ЗАДАЧИ — запихивания 10 и более хардов в один комп!
А народ начинает придираться и минусовать, упирая на то, что решение «не универсальное», при этом сами-же и признают, что УНИВЕРСАЛЬНЫХ РЕШЕНИЙ ТУТ НЕТ!
Да, можно лучше, можно взять другой корпус, маму, можно взять два десятка хардиков с Эзернетом и построить распределённую FS, можно поставить другой контроллер — среди корзин этой фирмы есть модели для SAS и избавиться от десятка шнурков SATA…
Грузить систему можно не с отдельного харда, а с самого массива, внешней флешки, загрузочного ЦД, из сети, или вообще «не грузить» в случае Эзернет-дисков (точнее система-то грузится и там, но...)!
Я спорю?
Я не спорю — я предлагаю конкретный, достаточно бюджетный вариант.
Кому понравится — может повторить или учесть какие-то мои ошибки, кому не понравится — может реализовать свой вариант или купить «профессиональный»!
А народ начинает придираться и минусовать, упирая на то, что решение «не универсальное», при этом сами-же и признают, что УНИВЕРСАЛЬНЫХ РЕШЕНИЙ ТУТ НЕТ!
Да, можно лучше, можно взять другой корпус, маму, можно взять два десятка хардиков с Эзернетом и построить распределённую FS, можно поставить другой контроллер — среди корзин этой фирмы есть модели для SAS и избавиться от десятка шнурков SATA…
Грузить систему можно не с отдельного харда, а с самого массива, внешней флешки, загрузочного ЦД, из сети, или вообще «не грузить» в случае Эзернет-дисков (точнее система-то грузится и там, но...)!
Я спорю?
Я не спорю — я предлагаю конкретный, достаточно бюджетный вариант.
Кому понравится — может повторить или учесть какие-то мои ошибки, кому не понравится — может реализовать свой вариант или купить «профессиональный»!
«Вот я и выложил свой вариант решения ОДНОЙ КОНКРЕТНОЙ ЗАДАЧИ — запихивания 10 и более хардов в один комп!»
И это решение называется «купите 3.5-5.25-адаптер»? Вы правда думаете, что оно неочевидно?
«я предлагаю конкретный, достаточно бюджетный вариант.»
А мы тут рассказываем, в чем его недостатки, чтобы люди, пришедшие после, учли и их тоже.
И это решение называется «купите 3.5-5.25-адаптер»? Вы правда думаете, что оно неочевидно?
«я предлагаю конкретный, достаточно бюджетный вариант.»
А мы тут рассказываем, в чем его недостатки, чтобы люди, пришедшие после, учли и их тоже.
Сейчас там «мешанина» из разнотипных хардов.
После перевода на «Общий знаменатель» в 2 ТБ на хард — будет, скорее всего, РЭЙД-6.
А пока — просто не вижу особой необходимости в рэйде…
ПыСы «Старые» 400 гиг, скорее всего, переедут в похожий комп в другом месте, на который будет идти «резервка» рабочих материалов…
После перевода на «Общий знаменатель» в 2 ТБ на хард — будет, скорее всего, РЭЙД-6.
А пока — просто не вижу особой необходимости в рэйде…
ПыСы «Старые» 400 гиг, скорее всего, переедут в похожий комп в другом месте, на который будет идти «резервка» рабочих материалов…
Вот по поводу программно несвязанного хранилища — всегда думал, как сделать так что бы грамотно но и не слишком затратно по месту.
Ведь по идее, для полной безопасности — на бэкапе не должны удалятся или заменяться данные (ну по крайней мере определенное время). Тогда получается бэкап должен содержать снэпшот — полную копию исходных данных + куча места на diff-ы, где одна итерация бекапа будет равнятся суммарному размеру измененных файлов.
Больно дофига место под бэкап нужно получается.
Если же будет простейшая синхронизация (что наизменяли на исходном носители, то же реплицируется на независимый бэкап)… то если мы повредим файл на исходном — после очередного бекапа он будет потерян.
В этом плане обычные рейды без независимого бэкапа — совершенно непонятная вещь… т.к. вирусы, случайное или преднамеренное удаление так же вероятны как отказы железа. А при наличии бэкапа, получается имеем дубликат и без рейда. :\
Ведь по идее, для полной безопасности — на бэкапе не должны удалятся или заменяться данные (ну по крайней мере определенное время). Тогда получается бэкап должен содержать снэпшот — полную копию исходных данных + куча места на diff-ы, где одна итерация бекапа будет равнятся суммарному размеру измененных файлов.
Больно дофига место под бэкап нужно получается.
Если же будет простейшая синхронизация (что наизменяли на исходном носители, то же реплицируется на независимый бэкап)… то если мы повредим файл на исходном — после очередного бекапа он будет потерян.
В этом плане обычные рейды без независимого бэкапа — совершенно непонятная вещь… т.к. вирусы, случайное или преднамеренное удаление так же вероятны как отказы железа. А при наличии бэкапа, получается имеем дубликат и без рейда. :\
В работе программиста, как и в любой другой, главное определиться с тем, что реально нужно бэкапить?!
Вот, скажем, моя ситуация:
Есть файлы с исходным видео, снятые с 11 камер.
20 минут — примерно равны гигу для одной камеры.
Т.е.: 20 минут исходного — занимают 11 гиг примерно.
Затем эти файлы раздираются покадрово для склейки (увы и ах — я проверял, но 11 видео-файлов разом комп как-то так тянуть не желает. Мб и поборю, но...), кадры уходят в Hugin, который на их основе генерит панорамы.
Далее из этих кадров собирается несколько роликов:
1. «Как есть», в полном разрешении, для пары-тройки кинотеатров, которые ТАКОЕ могут вытянуть.
2. Нет-вариант, со слегка порезанным разрешением, которое можно прогнать в панорамном плеере.
3. «Кругорамный» вариант, когда видео режется обратно на 11 или 9 (для совместимости с америкосами) роликов, но уже со склеенным параллаксом.
После чего это всё ещё и должно пройти через видео-редактор для склейки и т.д. и т.п.
Вопрос — а что мне РЕАЛЬНО надо сохранить???
ИМХО — ролики в стартовом разрешении, полноразмерную склейку и финальное видео, опять-же в полноразмерке!
Итого — пишем скрипт, который периодически бэкапит конкретные папки куда-то ТУДА и особо не морочим себе по этому поводу голову!
Лишнее (раскадровку) — периодически трём на основной.
После готовности фильма — исходные материалы и финальная версия ещё и бэкапятся на разного типа носители, в т.ч. — для архивирования в нормальном архиве…
Вот, скажем, моя ситуация:
Есть файлы с исходным видео, снятые с 11 камер.
20 минут — примерно равны гигу для одной камеры.
Т.е.: 20 минут исходного — занимают 11 гиг примерно.
Затем эти файлы раздираются покадрово для склейки (увы и ах — я проверял, но 11 видео-файлов разом комп как-то так тянуть не желает. Мб и поборю, но...), кадры уходят в Hugin, который на их основе генерит панорамы.
Далее из этих кадров собирается несколько роликов:
1. «Как есть», в полном разрешении, для пары-тройки кинотеатров, которые ТАКОЕ могут вытянуть.
2. Нет-вариант, со слегка порезанным разрешением, которое можно прогнать в панорамном плеере.
3. «Кругорамный» вариант, когда видео режется обратно на 11 или 9 (для совместимости с америкосами) роликов, но уже со склеенным параллаксом.
После чего это всё ещё и должно пройти через видео-редактор для склейки и т.д. и т.п.
Вопрос — а что мне РЕАЛЬНО надо сохранить???
ИМХО — ролики в стартовом разрешении, полноразмерную склейку и финальное видео, опять-же в полноразмерке!
Итого — пишем скрипт, который периодически бэкапит конкретные папки куда-то ТУДА и особо не морочим себе по этому поводу голову!
Лишнее (раскадровку) — периодически трём на основной.
После готовности фильма — исходные материалы и финальная версия ещё и бэкапятся на разного типа носители, в т.ч. — для архивирования в нормальном архиве…
Есть два типа системных администраторов – те, кто не делает бэкапы, и те, кто уже делает.
Хм… Лично я не понимаю, как можно делать фалопомойку без зеркала.
Так или иначе, очень важно, чтобы данные не терялись, а если учесть, что терабайтнички всё ещё дохнут довольно часто, я бы очень хорошо подумал, прежде чем заливать на такой файловый сервер важные данные, которые будут там в единственном экземпляре.
P.S. ИМХО, лучше десять TiB вместо двадцати, но с повышенной надёжностью.
Так или иначе, очень важно, чтобы данные не терялись, а если учесть, что терабайтнички всё ещё дохнут довольно часто, я бы очень хорошо подумал, прежде чем заливать на такой файловый сервер важные данные, которые будут там в единственном экземпляре.
P.S. ИМХО, лучше десять TiB вместо двадцати, но с повышенной надёжностью.
Ну, есть «физическая» и «логическая» ёмкость.
20 теров той компашке нужно было именно «физических» с объединением в логический RAID-массив.
В принципе — спасибо Линуху — эти 10 дисков можно собрать в любом конфиге — хоть RAID0, хоть 1, 5, 01, 10, 50 и т.д. и т.п.
Я дал раскладку по возможности поставить туда эти 10-15 дисков — реализация распределения по массивам — даётся на откуп пользователю. ;)
20 теров той компашке нужно было именно «физических» с объединением в логический RAID-массив.
В принципе — спасибо Линуху — эти 10 дисков можно собрать в любом конфиге — хоть RAID0, хоть 1, 5, 01, 10, 50 и т.д. и т.п.
Я дал раскладку по возможности поставить туда эти 10-15 дисков — реализация распределения по массивам — даётся на откуп пользователю. ;)
goo.gl/7vp2
Там с права табличка, в которой всё есть.
Там с права табличка, в которой всё есть.
Бюджет напишите. А я сравню с существующими решениями начального уровня в СХД.
Примерненько из недельной давности расчётов:
Прикинем:
Корзина для харда — 4,356.90 x 2 = 8712 рублей.
Мать и проц — у мну старенькие, наследие апгрейда основного. В новом конфиге — примерно тыщи в 4 встанет (полторы за мать + проц и память).
Корпус JSP-TECH V-400 Black на 9 слотов 5 дюймов — 2 тыщи.
БП на 650 ватт — 2 тыщи.
Итого — что-то около 16700 рублей. Причём брал те-же корзины до кризиса, когда бакс по 23 рубля шёл, так что и ещё меньше… ;)
Western Digital WDA4NC80000* — сетевое хранилище на 8 террабайт на основе 4-х хардов — стоит 30 тысяч и выше.
В моём варианте — это 17 тыр + 4тыр *4 (стоимость 4-х хардов на 2 терра) минус 4 тыр (минус вторая корзина в ТАКОМ конфиге)=30 тысяч
Аналогично?
Казалось-бы да, но в моём-то варианте ЭТО НЕ ПРЕДЕЛ! А там — это существенное наращивание цены!!!
В варианте на 20 теров — 17 тысяч «база» + 4*10 — диски.
Прикинем:
Корзина для харда — 4,356.90 x 2 = 8712 рублей.
Мать и проц — у мну старенькие, наследие апгрейда основного. В новом конфиге — примерно тыщи в 4 встанет (полторы за мать + проц и память).
Корпус JSP-TECH V-400 Black на 9 слотов 5 дюймов — 2 тыщи.
БП на 650 ватт — 2 тыщи.
Итого — что-то около 16700 рублей. Причём брал те-же корзины до кризиса, когда бакс по 23 рубля шёл, так что и ещё меньше… ;)
Western Digital WDA4NC80000* — сетевое хранилище на 8 террабайт на основе 4-х хардов — стоит 30 тысяч и выше.
В моём варианте — это 17 тыр + 4тыр *4 (стоимость 4-х хардов на 2 терра) минус 4 тыр (минус вторая корзина в ТАКОМ конфиге)=30 тысяч
Аналогично?
Казалось-бы да, но в моём-то варианте ЭТО НЕ ПРЕДЕЛ! А там — это существенное наращивание цены!!!
В варианте на 20 теров — 17 тысяч «база» + 4*10 — диски.
Обожаю эти игры…
Итого 2688 долларов, 15 посадочных мест под 3,5 харды, т.е. почти 30Тб.
Не посчитана совсем мелочевка, питальник при полной набивке явно нужен побольше, контроллеры — полное Г, ибо дешево, и собираться в рейд будут хост системой.
Можно конечно 3варе 9650 на 16 портов, но это +1000 уё.
Жду сколько будет стоить самая дешевая СХД на 30Тб.
Итого 2688 долларов, 15 посадочных мест под 3,5 харды, т.е. почти 30Тб.
Не посчитана совсем мелочевка, питальник при полной набивке явно нужен побольше, контроллеры — полное Г, ибо дешево, и собираться в рейд будут хост системой.
Можно конечно 3варе 9650 на 16 портов, но это +1000 уё.
Жду сколько будет стоить самая дешевая СХД на 30Тб.
С той же ёмкостью массива?
Ну во первых в таком варианте харды просто невозможно подключить,
AFAIG, ибо нужен бекплейн с экспандером (в районе $500) либо контроллер подороже, эдак за $1000.
Хотя могу и ошибаться.
далее:
>> Дублированные блоки питания по 800Вт с горячей заменой
Замечательно для enterprise, дома — пофиг (топикстартер именно про домашний говорил)
Есть правда нюанс что качеством БП у СМ получше будут чем consumer БП
>>Гарантированно достаточное охлаждение
Бесспорно, но зависит от того как диски будут использоваться, если для дома или периодическое обращение к данным — опять таки некритично
>>Горячая замена жестких дисков
В «моём» варианте (а также у ТС) присутствует
>>Полноценный RAID без извратов с SATA-портами, с нормальной кеш-памятью
Тут много уже наговорили, я ограничусь:
а) актуально для бизнеса
б) нет BBU (в дефолтной конфигурации?), для бизнеса нужен (я без BBU сервера не ставлю), но уже дороже на $50-$100
в) кеш-память актуальна при активном обращении и для BBU, при медленном обращении — пофиг, впринципе.
>>В целом гораздо более легкое обслуживание и удобство работы
Бесспорно.
>>Возможность расширения по процессорам (с нормальной серверной мамкой) до двух и по памяти практически неограниченно для таких задач
Но уже за совершенно другие деньги, а не за $250, правда?
Ну и окончательное:
>>Собираем супер-пупер профессиональное решение на порядок превосходящее ваше:
Превосходящее только нормальной корзиной, БП да шумом от вентиляторов ;), всё остальное — за деньги =)
Итого:
для бизнеса — решение на СМ явно предпочтительнее, т.к. проще в обслуживании,
для тех кто экономит каждую копейку (уж для дома или из-за жлобства или ещё чего)
берёт вот такой вариант:
и вешает харды на винтики =)
AFAIG, ибо нужен бекплейн с экспандером (в районе $500) либо контроллер подороже, эдак за $1000.
Хотя могу и ошибаться.
далее:
>> Дублированные блоки питания по 800Вт с горячей заменой
Замечательно для enterprise, дома — пофиг (топикстартер именно про домашний говорил)
Есть правда нюанс что качеством БП у СМ получше будут чем consumer БП
>>Гарантированно достаточное охлаждение
Бесспорно, но зависит от того как диски будут использоваться, если для дома или периодическое обращение к данным — опять таки некритично
>>Горячая замена жестких дисков
В «моём» варианте (а также у ТС) присутствует
>>Полноценный RAID без извратов с SATA-портами, с нормальной кеш-памятью
Тут много уже наговорили, я ограничусь:
а) актуально для бизнеса
б) нет BBU (в дефолтной конфигурации?), для бизнеса нужен (я без BBU сервера не ставлю), но уже дороже на $50-$100
в) кеш-память актуальна при активном обращении и для BBU, при медленном обращении — пофиг, впринципе.
>>В целом гораздо более легкое обслуживание и удобство работы
Бесспорно.
>>Возможность расширения по процессорам (с нормальной серверной мамкой) до двух и по памяти практически неограниченно для таких задач
Но уже за совершенно другие деньги, а не за $250, правда?
Ну и окончательное:
>>Собираем супер-пупер профессиональное решение на порядок превосходящее ваше:
Превосходящее только нормальной корзиной, БП да шумом от вентиляторов ;), всё остальное — за деньги =)
Итого:
для бизнеса — решение на СМ явно предпочтительнее, т.к. проще в обслуживании,
для тех кто экономит каждую копейку (уж для дома или из-за жлобства или ещё чего)
берёт вот такой вариант:
и вешает харды на винтики =)
Да, в доке на корпус и увидел что есть с экспандером, после чего и полез смотреть какой adaptec.
За корпусочки, кстати, спасибо, взял на заметку =)
А насчёт контроллеров — так как это «бомж»-вариант, то контроллеры самые дешевые во все доступные PCI/PCI-e слоты, итого по чипсетам:
Sil3114
Sil3512
Intel ICH10 (или 9, лень лезть проверять)
В любом случае, в таком «бомж» варианте всё равно только софтрейд, что кстати даёт ещё плюс для SM+HWRAID
За корпусочки, кстати, спасибо, взял на заметку =)
А насчёт контроллеров — так как это «бомж»-вариант, то контроллеры самые дешевые во все доступные PCI/PCI-e слоты, итого по чипсетам:
Sil3114
Sil3512
Intel ICH10 (или 9, лень лезть проверять)
В любом случае, в таком «бомж» варианте всё равно только софтрейд, что кстати даёт ещё плюс для SM+HWRAID
Немного ошибся с картинками,
выше — на 20Тб (10 дисков по 2ТБ),
если на 30Тб (15 дисков по 2Тб) то сумма, соотвественно $3308
выше — на 20Тб (10 дисков по 2ТБ),
если на 30Тб (15 дисков по 2Тб) то сумма, соотвественно $3308
проще взять ЮСБ-шный привод и подключать только при установке системы!
Для установки системы привод не нужен. Вообще.
В плюсе — теперь не 2, а 4 диска могут работать в режиме 3ГБс!
Ну да. Собери мне файлопомойку на дисках со скоростью 3Гб/с.
Про raid, на котором можно держать всю систему, включая /, уже всё сказали.
Имхо, вопрос больших объёмов на сервере лучше всего разрулила комапания BackBlaze, её сервера описаны у них в журнале и в посте на Хабре: habrahabr.ru/blogs/hardware/68832/
Подробнее и чётче, чем у них, по-моему, расписать сложно.
Подробнее и чётче, чем у них, по-моему, расписать сложно.
Статья интересная, но еще больше интересен стиль изложения.
Особо впечатлило количество восклицательных знаков.
Особо впечатлило количество восклицательных знаков.
Ноооормально :)
Жаль адекватных по цене 19" корпусов нет под такое кол-во винтов. Приходится извращаться в рукоделии.
Жаль адекватных по цене 19" корпусов нет под такое кол-во винтов. Приходится извращаться в рукоделии.
Во-первых — цены указаны НЫНЕШНИЕ, так что курс увы и ах, но таки 30 рублей за $!
Курс 23 — касался в тексте ТОЛЬКО рэков — в моём случае они просто стоили на 8712 за две штуки, как в данном раскладе, а, примерно, на четверть меньше!
Во вторых — купить можно всё, что душе угодно. В статье говорится только о том, что такое можно сделать и самому! Хочется платить чужому дяде за сверх-надёжность — вперёд и с песнями! Поставят на дублирование хоть три десятка блоков питания — ты только плати!
Курс 23 — касался в тексте ТОЛЬКО рэков — в моём случае они просто стоили на 8712 за две штуки, как в данном раскладе, а, примерно, на четверть меньше!
Во вторых — купить можно всё, что душе угодно. В статье говорится только о том, что такое можно сделать и самому! Хочется платить чужому дяде за сверх-надёжность — вперёд и с песнями! Поставят на дублирование хоть три десятка блоков питания — ты только плати!
А чем отличается ваше «самому» от этого «самому»? Только ценой и качеством комплектующих. Никакого чужого дяди.
Ну, есть и ещё маааахонькая деталь: не у всех компаний как-бы так в кайф ставить 19-дюймовую стойку! С этой точки зрения «стандартный» корпус является плюсом.
Можно так, можно вот так, можно организовать «сетевой рэйд» с дисками массива в разных зданиях…
Я показал вариант в стандартном корпусе:
При желании, с использованием дремеля — почти 100% запихну в него этот дублированный БП.
При наличие денег — можно поставить этот рэйд-контроллер, вместо указанного мной — не спорю. Я искал аналог того, что у меня воткнуто сейчас — варианты рассматриваются.
Можно так, можно вот так, можно организовать «сетевой рэйд» с дисками массива в разных зданиях…
Я показал вариант в стандартном корпусе:
При желании, с использованием дремеля — почти 100% запихну в него этот дублированный БП.
При наличие денег — можно поставить этот рэйд-контроллер, вместо указанного мной — не спорю. Я искал аналог того, что у меня воткнуто сейчас — варианты рассматриваются.
«С этой точки зрения «стандартный» корпус является плюсом.»
Нет, с этой точки является плюсом корпус, который можно поставить не только в стойку. А то, что бывают серверные корпуса форматов tower и pedestal, вы знаете? И к которым безо всякого дремеля доступны блоки питания с резервированием и хот-свап-адаптеры, гарантированно совместимые с этими корпусами? У интела таким образом набирается 10 винтов на корпус, у супермикро — 15.
Нет, с этой точки является плюсом корпус, который можно поставить не только в стойку. А то, что бывают серверные корпуса форматов tower и pedestal, вы знаете? И к которым безо всякого дремеля доступны блоки питания с резервированием и хот-свап-адаптеры, гарантированно совместимые с этими корпусами? У интела таким образом набирается 10 винтов на корпус, у супермикро — 15.
Мне тоже кажется что такое решение более верное. Штука в том, что не аппаратный RAID грузит интерфейсы, жрет память… в общем, потребляет ресурс. Аппаратный RAID предпочтительнее.
«Аппаратный RAID предпочтительнее. „
Это не совсем так. У аппаратного RAID есть другие недостатки. А на файл-сервере, если он выделенный, памяти и вычислительной мощности обычно хватает, чтобы потянуть софтверный рейд.
Это не совсем так. У аппаратного RAID есть другие недостатки. А на файл-сервере, если он выделенный, памяти и вычислительной мощности обычно хватает, чтобы потянуть софтверный рейд.
Я опасаюсь того что при горячей замене все это будет тормозить.
вот тут уже спросил habrahabr.ru/blogs/diy/97408/?reply_to=2993242#comment_2993189
вот тут уже спросил habrahabr.ru/blogs/diy/97408/?reply_to=2993242#comment_2993189
При горячей замене или при ребилде массива? Это не одно и то же.
И неужели вы думаете, что аппаратные рейды при ребилде не тормозят?
И неужели вы думаете, что аппаратные рейды при ребилде не тормозят?
Тормозят. Знаю. Пробовал. Но тарахтят и работают…
Честно скажу, что не знаю ребилд это или замена. В те времена когда я этим занимался нужно было покупать специальные сертифицированные диски (аж целый гигабайт). Я просто вынимал диск, ехал в с наликом и покупал такой-же… Тормозило при подключении исправного диска обратно все ужасно.
Честно скажу, что не знаю ребилд это или замена. В те времена когда я этим занимался нужно было покупать специальные сертифицированные диски (аж целый гигабайт). Я просто вынимал диск, ехал в с наликом и покупал такой-же… Тормозило при подключении исправного диска обратно все ужасно.
Ну вот и нормальная софтверная реализация — тарахтит, но работает. Я на слабой по серверным меркам машине (два гига памяти, самый младший C2D, встроенный в материнку SATA-контроллер (не рейд, конечно)) спокойно отребилдил массив из четырех терабайтных дисков. Ну да, тарахтит. Ну да, тормозит. Но работает.
А какая там была замена — холодная, горячая — ему по барабану.
А какая там была замена — холодная, горячая — ему по барабану.
3к зелёных — это 90к руб.
за 120к руб. уже можно взять файлопомойку под 16 винтов с горячей заменой и оптикой.
:)
за 120к руб. уже можно взять файлопомойку под 16 винтов с горячей заменой и оптикой.
:)
Если вам дорого покупать винты по ценам Tier-1 vendors, покупайте стораджи у Tier-2, их немало, всяких Xyratex, Infortrend, AXUS, DotHill, и ставьте туда диски с рынка, из валидированных производителем серий.
Не за 1k$, а по ценам вашего местного рынка. Но зато в надежное аппаратное решение, а не в это вот, «из говна и палок».
Не за 1k$, а по ценам вашего местного рынка. Но зато в надежное аппаратное решение, а не в это вот, «из говна и палок».
Думаете HP & IBM чем то отличаются от Xyratex & DotHill?
А вот и ничем. HP MSA2000 = DotHill, IBM какие-то сторы = Xyratex. У меня вот MSA2000fc под боком и Xyratex 5412. Могу сравнивать. Стоят в принципе вменяемых для их качества денег, но по надежности будут сабжевый сервачок делать на раз, как и по скорости. MSA2000fc G1 с 500 гиговыми SATA дисками стоит максимум 5килобаксов, а то и дешевле. Пустой Xyratex 5412 (SAS) стоил в районе 3 кило…
Насчет RAID-5 на таком коичестве дисков. RAID-5 это капец. Если у вас больше 3-х дисков или они более 500 гиг — однозначно RAID-6 + hot spare. Была случаи когда при вылете одного диска в RAID-5 его меняли, шел ребилд и во время ребилда вылетали еще один-два диска. Поэтому нафиг-нафиг. Щас RAID-6 на всех томах и по global hot spare на каждую «полку»
А вот и ничем. HP MSA2000 = DotHill, IBM какие-то сторы = Xyratex. У меня вот MSA2000fc под боком и Xyratex 5412. Могу сравнивать. Стоят в принципе вменяемых для их качества денег, но по надежности будут сабжевый сервачок делать на раз, как и по скорости. MSA2000fc G1 с 500 гиговыми SATA дисками стоит максимум 5килобаксов, а то и дешевле. Пустой Xyratex 5412 (SAS) стоил в районе 3 кило…
Насчет RAID-5 на таком коичестве дисков. RAID-5 это капец. Если у вас больше 3-х дисков или они более 500 гиг — однозначно RAID-6 + hot spare. Была случаи когда при вылете одного диска в RAID-5 его меняли, шел ребилд и во время ребилда вылетали еще один-два диска. Поэтому нафиг-нафиг. Щас RAID-6 на всех томах и по global hot spare на каждую «полку»
Вывод гавно.
Хочется дешево — нафиг писать в конфиг терабайтные SAS диски? 24 SATA терабайтника в двух корзинах в RAID-5 решают вопрос о 20 терабайтах. SAS надежнее? Хочется надежности — берите EVA, кхе-кхе.
Еще дешевле JBOD полки типа MC60-70 или как их там. Тупее SAS/SATA to SAS полок придумать сложно, P800 стоит дешевле FC-HBA (и часто уже в пролиантах есть). Кроме того, вы забыли еще и Brocade SAN Switch в конфигу добавить, парочку — для надежности.
Можно еще поизващаться на ATAoE полках. Полки дешевые (пустая полка в районе $1к), SATA диски обычные вообще копеечные. На 60 шпинделях можно получить неплохой random seek, правда все диски на собственные гигабиты придется садить и рейд софтовый делать.
P.S> мой поставщик как-то решал задачу по поставке СХД для видео-продакшена на местное телевидение. Обошлись Dot Hill 2722 Fibre Channel Storage Array + 6 JBOD. Забиты под завязку SAS 300 GB. Тома раздаются по сетке с четырех серверов (по серверу на редакцию — новости, проекты, рекламщики и т.п.)
Хочется дешево — нафиг писать в конфиг терабайтные SAS диски? 24 SATA терабайтника в двух корзинах в RAID-5 решают вопрос о 20 терабайтах. SAS надежнее? Хочется надежности — берите EVA, кхе-кхе.
Еще дешевле JBOD полки типа MC60-70 или как их там. Тупее SAS/SATA to SAS полок придумать сложно, P800 стоит дешевле FC-HBA (и часто уже в пролиантах есть). Кроме того, вы забыли еще и Brocade SAN Switch в конфигу добавить, парочку — для надежности.
Можно еще поизващаться на ATAoE полках. Полки дешевые (пустая полка в районе $1к), SATA диски обычные вообще копеечные. На 60 шпинделях можно получить неплохой random seek, правда все диски на собственные гигабиты придется садить и рейд софтовый делать.
P.S> мой поставщик как-то решал задачу по поставке СХД для видео-продакшена на местное телевидение. Обошлись Dot Hill 2722 Fibre Channel Storage Array + 6 JBOD. Забиты под завязку SAS 300 GB. Тома раздаются по сетке с четырех серверов (по серверу на редакцию — новости, проекты, рекламщики и т.п.)
> А в чём разница между сервером + JBOD и сервер набитый дисками?
В том, что HP StorageServer (сервер набитый дисками) это убогая машинка с вычислительной точки зрения (как правило один младший проц да еще и 3ххх скоре всего).
Для ряда применений, выгоднее «нормальный» DL380 + JBOD полки к нему, чем SS с дисками. У нас к примеру на сервере, который держит MSA2000fc еще и конвертится видео в flv. Все равно контент на него падает, гонять на отдельные «рендеры» файло по NFS невыгодно. Выгоднее посчитать его прямо на «storage controller»
В том, что HP StorageServer (сервер набитый дисками) это убогая машинка с вычислительной точки зрения (как правило один младший проц да еще и 3ххх скоре всего).
Для ряда применений, выгоднее «нормальный» DL380 + JBOD полки к нему, чем SS с дисками. У нас к примеру на сервере, который держит MSA2000fc еще и конвертится видео в flv. Все равно контент на него падает, гонять на отдельные «рендеры» файло по NFS невыгодно. Выгоднее посчитать его прямо на «storage controller»
супермайкра умеет супортить свои железки on site/nbd? Думаю нет. Просто уже сталкивались, долгое время брали «самосборы» на Intel платформах. Пока был вменямый поставщик-сборщик Intel Premier Partner проблемы можно было решить на месте. Но часто довольно долго… С HP все проблемы решаются в течение дня, даже со стандартной гарантией, не говоря уже о CarePack.
Надежность — это совокупная характеристика. Можно ли железку в случае проблем ожить за приемлемый срок? Нормальные (и не очень дешевые) железки надежнее как по качеству (изготовления), так и по возможности и скорости замены сдохших запчастей (сервис).
Дабы не разводить холиваров — у меня есть и самосборные железяки, собранные в середине 2000-х. Что удивительно — работают до сих пор. Даже вообще полная экзотика:
1. Promise FastTrak S150 TX4 + Promise FastTrak TX4200 = 8 SATA дисков по 250 GB, на каждом RAID 10, тотал чуть меньше терабайта. 2.4.31 Jun 23 2005
2. 3ware Inc 9500-12, 12 дисков по 250, RAID5, тотал около 2.5 TB. 2.6.20.6.4.3 Oct 4 15:14:37 2007
Обе в 12-ти дисковых промышленных кузовах Genesis Rack, внутри стандартные для того времени интел мамки под Xeon, в каждой по одному процу. Обе не выключались с момента сборки ядра. Обе в то время стоили около $4к-5к
Дабы не разводить холиваров — у меня есть и самосборные железяки, собранные в середине 2000-х. Что удивительно — работают до сих пор. Даже вообще полная экзотика:
1. Promise FastTrak S150 TX4 + Promise FastTrak TX4200 = 8 SATA дисков по 250 GB, на каждом RAID 10, тотал чуть меньше терабайта. 2.4.31 Jun 23 2005
2. 3ware Inc 9500-12, 12 дисков по 250, RAID5, тотал около 2.5 TB. 2.6.20.6.4.3 Oct 4 15:14:37 2007
Обе в 12-ти дисковых промышленных кузовах Genesis Rack, внутри стандартные для того времени интел мамки под Xeon, в каждой по одному процу. Обе не выключались с момента сборки ядра. Обе в то время стоили около $4к-5к
У меня дома крутится такой конфиг:
Case: RM 4U Chenbro 16 H/SW HDD Bays
PSU: 760W 2+1 Redundrant
CPU: 2 x Intel® Xeon® CPU 5150@2.66GHz
RAM: 2x2Gb Kingston FB-DIMM /точно не помню модель/
MB: Intel S5000PSL
RAID: 9550SXU-16ML + BBU-MODULE-04
HDD: 8 x1Tb Samsung HE103UJ + 60Gb WD600AB система
IP KVM: Плата Intel® RMM2 (AXXRMM2)
OS: Ubuntu Server 9.10 x64
Работает хорошо конечно, удобно все, но вот жужжит просто жутко, стоит в подвале — все равно гул пробивается в жилые помещения. Основной шум идет от вентиляторов охлаждения 80х80мм х 5 по ~4000 RPM, 80х80мм х 2 по 2500 RPM и еще 6 маленьких где-то 30х30мм в блоках питания, которые так же очень сильно шумят.
Контроллер конечно тоже на самый свежак, ребил 6.5 Тб выполняется около суток, но в принципе это не очень напрягает.
В общем основная проблема лично у меня — это шум.
Case: RM 4U Chenbro 16 H/SW HDD Bays
PSU: 760W 2+1 Redundrant
CPU: 2 x Intel® Xeon® CPU 5150@2.66GHz
RAM: 2x2Gb Kingston FB-DIMM /точно не помню модель/
MB: Intel S5000PSL
RAID: 9550SXU-16ML + BBU-MODULE-04
HDD: 8 x1Tb Samsung HE103UJ + 60Gb WD600AB система
IP KVM: Плата Intel® RMM2 (AXXRMM2)
OS: Ubuntu Server 9.10 x64
Работает хорошо конечно, удобно все, но вот жужжит просто жутко, стоит в подвале — все равно гул пробивается в жилые помещения. Основной шум идет от вентиляторов охлаждения 80х80мм х 5 по ~4000 RPM, 80х80мм х 2 по 2500 RPM и еще 6 маленьких где-то 30х30мм в блоках питания, которые так же очень сильно шумят.
Контроллер конечно тоже на самый свежак, ребил 6.5 Тб выполняется около суток, но в принципе это не очень напрягает.
В общем основная проблема лично у меня — это шум.
Главное когда такая поделка сломается успеть уехать далеко-далеко.
А для чего этот сервер используется? Какие нагрузки?
Статья возможно и интересная, но читать очень и очень сложно.
а стартуют они все вместе или по очереди?
насущные вопросы:
1) диски все сразу стартуют???
2) ФС, надёжность?
вообще такие игрушки надо собирать на основе FreeBSD+ZFS в raidz ;)
1) диски все сразу стартуют???
2) ФС, надёжность?
вообще такие игрушки надо собирать на основе FreeBSD+ZFS в raidz ;)
Там и стояла ФриБсдя в вариации ФриНАС.
Пока не достала нестабильностью работы и воплями разраба о том, что «Меня это достало и это последняя версия!».
В итоге потом неделю грохнул на то, чтоб с этого ни с чем не совместимого безобразия Фри, которое считается «надёжной» ФС, перекопировать инфу на другую систему!
Пока не достала нестабильностью работы и воплями разраба о том, что «Меня это достало и это последняя версия!».
В итоге потом неделю грохнул на то, чтоб с этого ни с чем не совместимого безобразия Фри, которое считается «надёжной» ФС, перекопировать инфу на другую систему!
… это, надо сказать, говорит о многом. Потому что фринас у вас мог быть либо под zfs, либо под ufs (и то, и другое — совместимо, пусть и с ограничениями), так что скопировать можно, если понимать, как оно устроено.
И работает этот самый фринас у меня под столом который год — и едиственная его нестабильность была в том, что он как-то раз не поженился с памятью. Под zfs, на винтах в коробке 3.5-5.25… знакомо?
Ну и да, никакая это не последняя версия, и 7.1 выпустили, и 8 вполне в разработке.
И работает этот самый фринас у меня под столом который год — и едиственная его нестабильность была в том, что он как-то раз не поженился с памятью. Под zfs, на винтах в коробке 3.5-5.25… знакомо?
Ну и да, никакая это не последняя версия, и 7.1 выпустили, и 8 вполне в разработке.
Погодите, разе не автор FreeNAS сказал несколько месяцев назад хватит разврата «бздя» — все, текущая версия FreeNAS под ней — последняя, дальше переходим на Линукс, «потомучто задолбала».
… До полного счастья — у меня туда воткнуто несколько серверных приложений, типа Мамбла, SIP и т.д. и т.п., включая нормальный HTTP с mySQL, чего от разработчиков ФриНАСа добиться не могут уже чёрти сколько времени!
Ну и «мелочёвка» в стиле «Мы тут подумали и я решил в связи с нехваткой подо всё места слегка увеличить в новой версии место для системы на диске, поэтому х… лысого вы установите новую версию без форматирования системного винта!» — просто достало! До того у меня на системном хрвнилась часть архива, после — пришлось плюнуть и оставить весь хард под систему, при том, что 90% от него не юзается — Фре до того, что-бы занять весь диск надо пнуть вовремя…
Ну и «мелочёвка» в стиле «Мы тут подумали и я решил в связи с нехваткой подо всё места слегка увеличить в новой версии место для системы на диске, поэтому х… лысого вы установите новую версию без форматирования системного винта!» — просто достало! До того у меня на системном хрвнилась часть архива, после — пришлось плюнуть и оставить весь хард под систему, при том, что 90% от него не юзается — Фре до того, что-бы занять весь диск надо пнуть вовремя…
«у меня туда воткнуто несколько серверных приложений, типа Мамбла, SIP и т.д. и т.п., включая нормальный HTTP с mySQL, чего от разработчиков ФриНАСа добиться не могут уже чёрти сколько времени»
А все потому, что не надо путать nas и апп-сервер.
«Ну и «мелочёвка» в стиле «Мы тут подумали и я решил в связи с нехваткой подо всё места слегка увеличить в новой версии место для системы на диске, поэтому х… лысого вы установите новую версию без форматирования системного винта!» — просто достало!»
А это оттого, что полезно читать best practices и думать. Как бы, system + data — самая геморройная установка.
А все потому, что не надо путать nas и апп-сервер.
«Ну и «мелочёвка» в стиле «Мы тут подумали и я решил в связи с нехваткой подо всё места слегка увеличить в новой версии место для системы на диске, поэтому х… лысого вы установите новую версию без форматирования системного винта!» — просто достало!»
А это оттого, что полезно читать best practices и думать. Как бы, system + data — самая геморройная установка.
Вот потому в последнее время он у меня и торчит просто для системы…
Ну и потом — меня очень сильно взбесило, когда в очередной версии поменялись права у FTP и Самбы, в итоге я так и не смог в своё время «сдружить их обратно» — записанное через Самбу не вырубить через FTP и наоборот…
Не, я понимаю, что «бла-бла-бла, безопасность и т.д.», но не до такой-же паранойи, что один и тот-же юзер имеет РАЗНЫЕ права на одни и те-же файлы через разные протоколы?!
Ну и потом — меня очень сильно взбесило, когда в очередной версии поменялись права у FTP и Самбы, в итоге я так и не смог в своё время «сдружить их обратно» — записанное через Самбу не вырубить через FTP и наоборот…
Не, я понимаю, что «бла-бла-бла, безопасность и т.д.», но не до такой-же паранойи, что один и тот-же юзер имеет РАЗНЫЕ права на одни и те-же файлы через разные протоколы?!
Интегрированные видяхи тормозят всю систему вроде как?
«Файлопомойка» это вы очень точно определили качество полученного решения.
Еще есть такое выражение: «Хоронилище данных».
Еще есть такое выражение: «Хоронилище данных».
Intel DG965WH на 775 чипсете и с интегрированным видео и 6 sata… так на будущее…
Автор, опиши пожалуйста подробнее про массив(аппаратный, программный), как происходит мониторинг за жесткими. Впечатление от Adaptec AAR-1430SA, ну и хотелось бы тестов.
А горячую замену реально пробовали? По тексту выходит что вроде вы делали холодную. И если все-таки горячую замену делали, то сильно это все колом вставало. Даже аппаратные RAID-ы при горячей замене очень заметно теряют производительность, а тут я думаю вообще все ложится до момента окончания синхронизации.
пост — УГ.
О резервировании в принципе не сказано ни слова.
Зачем хранить 20ТБ, если оно может безвозвратно наебнуться в любой момент времени?
О резервировании в принципе не сказано ни слова.
Зачем хранить 20ТБ, если оно может безвозвратно наебнуться в любой момент времени?
«Зачем хранить 20ТБ, если оно может безвозвратно наебнуться в любой момент времени?»
Так от задачи же зависит.
Может, задача обеспечить быстрый онлайн-доступ к тому, что и так уже лежит на бэкапах. Тогда пусть себе наебывается, поднимем.
Так от задачи же зависит.
Может, задача обеспечить быстрый онлайн-доступ к тому, что и так уже лежит на бэкапах. Тогда пусть себе наебывается, поднимем.
угу, поднимем. из бэкапов. и не будет быстрого доступа, пока не поднимем.
не, это какой-то странный вариант.
даже дома я б такое не поставил.
не, это какой-то странный вариант.
даже дома я б такое не поставил.
Я бы тоже не поставил.
кстати, я невольно задумался сейчас об этом моменте.
понятно, что покупать домой нормальную файлопомойку за 120-200к руб. — неклёво.
а вот купить на том же e-bay стримак, сделать из него бэкап, а для него — интерфейс а-ля рапида/айфолдер/что-то еще — вот это уже было бы клёво и вполне достойно для опубликования.
как-то так.
понятно, что покупать домой нормальную файлопомойку за 120-200к руб. — неклёво.
а вот купить на том же e-bay стримак, сделать из него бэкап, а для него — интерфейс а-ля рапида/айфолдер/что-то еще — вот это уже было бы клёво и вполне достойно для опубликования.
как-то так.
И шансов у него для этого — предостаточно.
А народу, как вы заметили — нравится :-|
А потом такие самодельщики подрастают, заканчивают школы, поступают сисадминами, и городят такие вот п… цовые говностораджи в своих компаниях, которые работают до первого чиха на этаже.
… зато компании-восстанавливающие с дисков данные без толстого куска масла на хлебе никогда не останутся.
А потом такие самодельщики подрастают, заканчивают школы, поступают сисадминами, и городят такие вот п… цовые говностораджи в своих компаниях, которые работают до первого чиха на этаже.
… зато компании-восстанавливающие с дисков данные без толстого куска масла на хлебе никогда не останутся.
ну Вы же понимаете, что народу может нравится всё, что угодно.
особенно то, что очень дёшево выходит.
и да, последствия пугают. именно из-за таких появился, например, мем «быдло-кодер». здесь — примерно то же самое.
особенно то, что очень дёшево выходит.
и да, последствия пугают. именно из-за таких появился, например, мем «быдло-кодер». здесь — примерно то же самое.
главное — побольше восклицательных знаков! ведь каждый из них делает пост более весомым и убедительным!
ЗЫ пост без фоток, потому даже пришлось читать местами О_О
ЗЫ пост без фоток, потому даже пришлось читать местами О_О
Сам собирал такую систему но на 16 дисков:
Что могу сказать по вашему решению:
Что могу сказать по вашему решению:
Ну, Вы-то осознанно подошли к вопросу о резервировании данных :)
От уж блин))
Продолжаю:
Не можно а нужно! При таком количестве дисков не использовать избыточности можно только на данных, которых совсем не жалко.
Когда все 10 дисков (у меня 16) раскрутят свои блины, системник завалить не так уж и просто — эффект маховика
Как обычно — сначала ломаем, потом читаем инструкцию ;)
И да, это выключатели питания именно для хотсвопа, дабы не спалить винт, выдёргивая его при поданном питании (маловероятно для SATA, но возможно)
Насчёт софтового рейда — для дома покатит, а в продакшн — не советую. При более/менее серьёзной нагрузке проц просто потухнет и не сможет обработать поступающие запросы. Да и сеть встроенную лучше заменить на сервачную 3Com/Intel т.к. в многопоточном режиме десктопные не очень хорошо себя показывают.
А так — да, для простых файлопомоек нет никакого смысла покупить взрослые SAN, они для других задач.
Продолжаю:
при ТАКОМ числе дисков — можно часть поставить в RAID
Не можно а нужно! При таком количестве дисков не использовать избыточности можно только на данных, которых совсем не жалко.
Две таких корзины ставим в низ корпуса, забив шесть из девяти слотов (просто чтобы не перевешивал верх!).
Когда все 10 дисков (у меня 16) раскрутят свои блины, системник завалить не так уж и просто — эффект маховика
Кнопочки должны быть ВЖАТЫ! А то вчера всё проклял...
Как обычно — сначала ломаем, потом читаем инструкцию ;)
И да, это выключатели питания именно для хотсвопа, дабы не спалить винт, выдёргивая его при поданном питании (маловероятно для SATA, но возможно)
Насчёт софтового рейда — для дома покатит, а в продакшн — не советую. При более/менее серьёзной нагрузке проц просто потухнет и не сможет обработать поступающие запросы. Да и сеть встроенную лучше заменить на сервачную 3Com/Intel т.к. в многопоточном режиме десктопные не очень хорошо себя показывают.
А так — да, для простых файлопомоек нет никакого смысла покупить взрослые SAN, они для других задач.
Насчёт софтового рейда — для дома покатит, а в продакшн — не советую. При более/менее серьёзной нагрузке проц просто потухнет и не сможет обработать поступающие запросы.
Сами то пробовали? На текущих мощностях при полной загрузке SoftwareRAID 6 уровня больше 20% одного ядра не жрет.
На каком потоке? MBPS/IOPS
Про это уже много раз писали. К примеру:
www.linux.com/news/hardware/servers/8222-benchmarking-hardware-raid-vs-linux-kernel-software-raid
www.linux.com/news/hardware/servers/8222-benchmarking-hardware-raid-vs-linux-kernel-software-raid
На кол-ве дисков >8 в большинстве случаев нет смысла использовать что-то кроме RAID-6 ввиду того что велика вероятность выхода из строя массива RAID-5 на большом количестве дисков, а RAID-1/RAID-10 слишком затратны.
По приведённой вами ссылке видно что в RAID-6 софтовый рейд более/менее догоняет аппаратный только на операциях чтения. И это по всей видимости ещё и при полной загрузке проца. А ведь такая машинка кроме дисковой подсистемы может ещё какие-то сервисы обслуживать, которые при загруженном проце начнут тормозить.
Так что для бюджетного решения — ещё ничего, а для более/менее интенсивного использования — мало пригодно.
По приведённой вами ссылке видно что в RAID-6 софтовый рейд более/менее догоняет аппаратный только на операциях чтения. И это по всей видимости ещё и при полной загрузке проца. А ведь такая машинка кроме дисковой подсистемы может ещё какие-то сервисы обслуживать, которые при загруженном проце начнут тормозить.
Так что для бюджетного решения — ещё ничего, а для более/менее интенсивного использования — мало пригодно.
По приведённой вами ссылке видно что в RAID-6 софтовый рейд более/менее догоняет аппаратный только на операциях чтения. И это по всей видимости ещё и при полной загрузке проца.
нету там полной загрузки проца, и никогда я не наблюдал даже при ребилде. Основу аппаратных рейдов составляют процессоры RISC или ARM на 300-600Mhz. Основную проблему составляет кеш только и упор идет больше в ввод-вывод чем в скорость процессора. 20% — у меня достигалось только при ребилде.
А ведь такая машинка кроме дисковой подсистемы может ещё какие-то сервисы обслуживать, которые при загруженном проце начнут тормозить.
Знаете сейчас уже очень редко можно встретить сервер с рейдом и с одноядерным процессором. И как-то у меня СУБД живет и ничо не кашляет и ядра там слегка два.
Так что для бюджетного решения — ещё ничего, а для более/менее интенсивного использования — мало пригодно.
Эти вот более/менее интенсивные использования начинаются когда люди готовы для производительности отдать от тысячи до двух тысяч баксов за контроллер. Все аппаратные решения до этого порога хуже чем банальный софтваре рейд. И часто проще взять процессор с большим количеством ядер и частотой, чем рейд.
Основу аппаратных рейдов составляют процессоры RISC или ARM на 300-600Mhz
Ну во-первых это RISK, а во вторых на правильных контроллерах стоят аппаратные XOR-блоки, так что на проц ложится только общая логика, а контрольными суммами занимается внешняя числодробилка, которая даст прикурить любому ксеону.
Эти вот более/менее интенсивные использования начинаются когда люди готовы для производительности отдать от тысячи до двух тысяч баксов за контроллер. Все аппаратные решения до этого порога хуже чем банальный софтваре рейд.
Areca, которую я использую для бюджетных массивов, идёт по $100 за порт, что не очень дорого для таких задач. На всех моделях стоит внешний XOR-блок, а на моделях от 12 портов можно ещё и памяти по-больше поставить. Так что $1600 за серьёзный SATA контроллер для сервака суммарной стоимостью от $5000 — это вполне даже нормально. Я и 4-х и 8-ми портовые юзал — остался доволен. Как вам ребилд массива из 16 дисков с падением производительности во время ребилда на «целых» 5%? :)
Народ под БД на них даже RAM-диски вешал и такая система разрывала как по IOPSам так и по GBPSам топовые системы на SAS 15000rpm при значительно меньшей стоимости, но это уже совсем другая ценовая категория ;)
Я говорю про то, что если у вас машинка делает деньги, не стоит экономить на спичках — в самый неподходящий момент может боком выйти.
Ну во-первых это RISK, а во вторых на правильных контроллерах стоят аппаратные XOR-блоки, так что на проц ложится только общая логика, а контрольными суммами занимается внешняя числодробилка, которая даст прикурить любому ксеону.
От того что это RISC, он по производительности Xeon не догонит. Насчет аппаратных блоков смотри расширения типа MMX и SSE они дадут прикурить тому самому аппаратному XOR. К тому же в RAID-6 не только XOR функция используется.
Areca, которую я использую для бюджетных массивов, идёт по $100 за порт, что не очень дорого для таких задач. На всех моделях стоит внешний XOR-блок, а на моделях от 12 портов можно ещё и памяти по-больше поставить.
это 800 баксов на которые можно легко докупить процессора. Опять же если там нет BBU, то эта аппаратный RAID сливает со страшной силой софтварному RAID. А BBU дает дополнительные 200-300 баксов к стоимости RAID.
Так что $1600 за серьёзный SATA контроллер для сервака суммарной стоимостью от $5000 — это вполне даже нормально. Я и 4-х и 8-ми портовые юзал — остался доволен.
Ценник я указывал выше. Вопрос больше состоит нужен ли в этом данном случае аппаратный RAID. В очень большом числе случаев это дорогие понты и головняки при востановлении.
Как вам ребилд массива из 16 дисков с падением производительности во время ребилда на «целых» 5%? :)
Это правда только для серьезных контроллеров от 1000 долларов, все что дешевле хуже software raid на порядок.
Я говорю про то, что если у вас машинка делает деньги, не стоит экономить на спичках — в самый неподходящий момент может боком выйти.
Вот судя по тому что вы говорите, вы не имели проблем с аппаратными RAID :) Я вот имел и чаще всего RAID попавший в неудачную ситуацию оставалось только убить и создать по новой. В случае Software RAID чаще удается привести массив в чувство. Да и вообще software RAID в большом количестве задач он дает результаты не хуже чем аппаратный. рекомендую вам таки собрать такой RAID и попробовать.
Это правда только для серьезных контроллеров от 1000 долларов, все что дешевле хуже software raid на порядок
От $1000 за сколько портов? Эту цифру я привёл из собственного опыта (вышеприведённая машина). Контроллер Areca ARC-1260 — 16 портов, покупался как и остальные модели за $1600(16х100). Дорого это или дёшево — каждый решает сам.
Вот судя по тому что вы говорите, вы не имели проблем с аппаратными RAID :)
Каюсь, за годы активного юзания Ареки, проблемы имел только с Адаптеком)) И там было проще переделать, нежели восстанавливать, ибо был свежий бэкап.
В случае Software RAID чаще удается привести массив в чувство.
С этим согласен, так что в ближайшее время планирую собрать бэкап сервер на софтрейде винтов эдак на 6-8 (WD Green 2Tb) — там какраз скорость до лампочки, а вот возможность оживления важна.
От $1000 за сколько портов? Эту цифру я привёл из собственного опыта (вышеприведённая машина). Контроллер Areca ARC-1260 — 16 портов, покупался как и остальные модели за $1600(16х100). Дорого это или дёшево — каждый решает сам.
Количество портов менее важно. Главное наличие BBU. А это как раз от 1000 баксов. Без BBU hardware RAID сливает.
С этим согласен, так что в ближайшее время планирую собрать бэкап сервер на софтрейде винтов эдак на 6-8 (WD Green 2Tb) — там какраз скорость до лампочки, а вот возможность оживления важна.
За одно и скорость померяете. В случае приличного контроллера типа ICH9-ICH10 вполне все прилично.
Количество портов менее важно.
Количество портов на цену влияет прямопропорционально, и если «от 1000 баксов» хотят за 4х портовый контроллер — значит что-то туда поставили внушительное, а если за 24х — так это жлобпакет какой-то.
Главное наличие BBU. А это как раз от 1000 баксов. Без BBU hardware RAID сливает.
Не пойму, какое отношение Battery Backup Unit имеет к производительности контроллера? Да и стоит он отдельно $50-$100 в зависимости от коэффициента жадности производителя.
Количество портов на цену влияет прямопропорционально, и если «от 1000 баксов» хотят за 4х портовый контроллер — значит что-то туда поставили внушительное, а если за 24х — так это жлобпакет какой-то
Нормальный 24 портовый хардварный контроллер не будет стоить 1000 баксов ну никак.
Не пойму, какое отношение Battery Backup Unit имеет к производительности контроллера?
Прямое, без него нельзя безопасно использовать кэш на запись. Как результат, производительность записи резко падает. Если хотите проверить выдерните BBU и проверьте скорость записи, нормальные контроллеры при отсутствии BBU отключают эту возможность.
Да и стоит он отдельно $50-$100 в зависимости от коэффициента жадности производителя.
BBU бывают разные. Есть такие которые содержат память. В этом случае он может легко стоить от 200 баксов.
Если хотите проверить выдерните BBU и проверьте скорость записи, нормальные контроллеры при отсутствии BBU отключают эту возможность.
В нормальных контроллерах есть опция, отвечающая за поведение кэша записи при отсутствии батарейки. По-умолчанию используется write-through при отсутствии батарейки и write-back при её наличии. Но на свой страх и риск можно включить write-back и при отсутствии батарейки. Так что BBU тут не при чём, да и для недорогих хардварных контроллеров, его можно прикупить совсем за недорого. На 4x портовую Ареку я покупал за $60, в то время как за 8-ми портовый Адаптек пришлось отвалить уже $120, но там и кэш-памяти было больше, и производитель более жадный.
Но на свой страх и риск можно включить write-back и при отсутствии батарейки. Так что BBU тут не при чём.
И получить мертвый массив при пропадании электричества. Именно по этому при отсутствии BBU по умолчанию включается write-through, что является безопасным, хотя и работает медленнее. Так что вполне себе причем.
А вы уверены что при использовании софтового рейда в режиме write-back вы переживёте случайное отключение подачи питания? ;)
У меня машинка с массивом из 8-ми дисков на Ареке без батарейки, но на УПСе живёт уже 4 года, причём стоит в частном секторе где три раза в день после еды отключают электричество. Кэш записи в режим write-back выставлен принудительно. Просто при полном разряде машина уходит в hibernate с полным сбросом кэша и данные сохраняют целостность.
Мало того, при жёстком сбое системы (как вариант — зависание или перезагрузка ОСи при активной работе диска), с большей вероятностью умрёт именно софтовый рейд т.к. он глубоко завязан с ОС, в то время как полноценный железячный в определённой степени автономен.
У меня машинка с массивом из 8-ми дисков на Ареке без батарейки, но на УПСе живёт уже 4 года, причём стоит в частном секторе где три раза в день после еды отключают электричество. Кэш записи в режим write-back выставлен принудительно. Просто при полном разряде машина уходит в hibernate с полным сбросом кэша и данные сохраняют целостность.
Мало того, при жёстком сбое системы (как вариант — зависание или перезагрузка ОСи при активной работе диска), с большей вероятностью умрёт именно софтовый рейд т.к. он глубоко завязан с ОС, в то время как полноценный железячный в определённой степени автономен.
А вы уверены что при использовании софтового рейда в режиме write-back вы переживёте
случайное отключение подачи питания? ;)
Полностью. У меня случаи были. Да в 10% случаев может произойти рассинхронизация дисков и один из них выпадет из массива. Но это максимум что произойдет.
У меня машинка с массивом из 8-ми дисков на Ареке без батарейки, но на УПСе живёт уже 4 года, причём стоит в частном секторе где три раза в день после еды отключают электричество. Кэш записи в режим write-back выставлен принудительно. Просто при полном разряде машина уходит в hibernate с полным сбросом кэша и данные сохраняют целостность.
Сходите вилку дерните из сервера и посмотрим что произойдет.
Мало того, при жёстком сбое системы (как вариант — зависание или перезагрузка ОСи при активной работе диска), с большей вероятностью умрёт именно софтовый рейд т.к. он глубоко завязан с ОС, в то время как полноценный железячный в определённой степени автономен.
Как я писал выше это происходит редко. Дело в том что в случае SoftwareRAID состояние дисков более консистентно, чем при использовании аппаратного.
Вы в этом уверены? ;)
Наличие/отсутствие BBU влияет на рекомендации по использованию кэша, не более. Если ты в системе и инфраструктуре уверен, и бэкапы — дело не редкое, то можно и без BBU обойтись, особенно если финансы поджимают. Но на фоне общей стоимости системы говорить о том, что цена батарейки как-то может существенно ущемить потребителя — глупо. 1-2% от стоимости сервера за возможность безбоязненно юзать кэш — не такая уж и великая плата, чтобы говорить о сумасшедших ценах на аппаратные контроллеры.
И это влияет на скорость записи. Как уже и говорилось при write-through аппаратный рейд начинает сливать софтварному.
При прочих равных — нет. Отключите кэш записи на софтовом и он так-же начнёт «сливать».
Это всё равно что сравнивать две машины, одну забыв снять с ручника.
Это всё равно что сравнивать две машины, одну забыв снять с ручника.
Отключите кэш записи на софтовом и он так-же начнёт «сливать».
Там кеш на уровне ОС вообще-то и в случае с аппаратным рейдом в режиме write-through он никуда не девается. Проблема в низком быстродействии процессора рейд-контроллера. В случае включения write-back количество операций записи уменьшается и они становятся длинными. Но из-за этого в случае отключения питания словить неконсистентность массива и потерю данных проще.
а, ещё не могу не заметить.
просто любопытно, а ответа не нашёл.
там данные по smb отдаются, да?
просто любопытно, а ответа не нашёл.
там данные по smb отдаются, да?
Насколько оно шумное?
имхо, из DIY-хранилищ вот этот самый крутой (30винтов, к сожалению конфиг незнаю):
fotki.yandex.ru/users/mindfactory/album/104074/
ЗЫ комп не мой)
fotki.yandex.ru/users/mindfactory/album/104074/
ЗЫ комп не мой)
Не, это жесть!))
За реализацию конечно респект и уважуха, но мне искренне жаль того, кто будет сие чудо обслуживать!
Я в своём 16-ти винтовом жалею что не получилось всё поставить в корзины, но там хоть как-то малой кровью за пару минут можно заменить один из 8-ми винтов, стоящих внутри на салазках. А тут для замены одного умершего диска нужно будет пол компа разобрать, а потом ещё и попытаться в проводах не запутаться)
У меня боковина тоже не очень эстетично выглядит:
А сейчас для себя решил — только корзины. Даже если совсем бюджет жмёт или наоборот — нужна высокая плотность, всё равно никакой самодеятельности — себе дороже выйдет. Тем более что есть корзины разной степени крутости и под 3.5" и под 2.5" от 1 до 6 дисков, так что выбрать всегда есть из чего.
За реализацию конечно респект и уважуха, но мне искренне жаль того, кто будет сие чудо обслуживать!
Я в своём 16-ти винтовом жалею что не получилось всё поставить в корзины, но там хоть как-то малой кровью за пару минут можно заменить один из 8-ми винтов, стоящих внутри на салазках. А тут для замены одного умершего диска нужно будет пол компа разобрать, а потом ещё и попытаться в проводах не запутаться)
У меня боковина тоже не очень эстетично выглядит:
А сейчас для себя решил — только корзины. Даже если совсем бюджет жмёт или наоборот — нужна высокая плотность, всё равно никакой самодеятельности — себе дороже выйдет. Тем более что есть корзины разной степени крутости и под 3.5" и под 2.5" от 1 до 6 дисков, так что выбрать всегда есть из чего.
А фото можно получившейся системы увидеть?
Насчет P5Q — у меня такая. Там только 2 с принудительным рейдом. Ну и как бонус — 2 сетевых карты.
ZFS по этим винтам плачет
вы писали, что у вас 11 камер HD — может, мой опыт будет вам полезен
собирал сервер для системы видеонаблюдения на 2 Тб, в системе было 16 камер Axis Q1755 (HDTV 1080i)- столкнулся с тем, что SATA диски в RAID 5 «не успевали», пришлось ставить SAS (15 000 rpm)
в дальнейшем перешел на Dell PowerVault, стойка
собирал сервер для системы видеонаблюдения на 2 Тб, в системе было 16 камер Axis Q1755 (HDTV 1080i)- столкнулся с тем, что SATA диски в RAID 5 «не успевали», пришлось ставить SAS (15 000 rpm)
в дальнейшем перешел на Dell PowerVault, стойка
Ну, у меня «помягче» — обращение к серверу идёт в ассинхронке, после съёмки: карточки Eye-Fi на 4 гига синхронизируются раз в 20 минут в худшем случае (у камер глюк — больше 20 если снимать — виснут на запись!) (в это время параллельно может продолжаться съёмка). Синхронизация по WiFi-n на хард локальный, после чего — синхронизация с харда на сервер — или ручками, или, если есть ВиМакс в зоне действия — на сервер сразу через сеть…
зачем целый 11-тый хард под систему — непонятно
хватилобы CompactFlash через переходник воткнутые в IDE/SATA… да даже с USB можно грузится!
хватилобы CompactFlash через переходник воткнутые в IDE/SATA… да даже с USB можно грузится!
10 дисков по 2 терабайта: 10 х 5 119 руб. = 51190 рублей
дюже кучеряво, хотя, если задаться целью, то финансы отходят на второй план
дюже кучеряво, хотя, если задаться целью, то финансы отходят на второй план
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
20 терабайт своими руками