Комментарии 66
спасибо, крайне интересная вещь.
действительно, нужная штука.
video1, video2, etc. черт побери, мы тогда еще были молоды и глупы… :)
video1, video2, etc. черт побери, мы тогда еще были молоды и глупы… :)
Что только русские не придумают, чтоы не строить нормальные дороги (зачернкнуто) не пользоваться стандартными проверенными решениями.
Не было тогда денег на нормальные решения, хотя и был опыт работы с ibm'овским shark'ом (ess).
«на нормальные решения» никогда денег нет :)
Просто когда время и труд админа не стоит ничего (или стоит 200$ в месяц), то есть стимул порождать таких Големов.
Просто когда время и труд админа не стоит ничего (или стоит 200$ в месяц), то есть стимул порождать таких Големов.
Именно такие «големы» заставляют производителей «нормальных» решений держать цены на них в каких-то рамках. Не будь их, сейчас дисковый массив стоил бы как частный самолет.
Оптимист :)
Да ничего они не заставляют. Конкретно это скорее трюк, нежели работоспособное, повторяемое и надежное решение.
Вот я знаю человека, который умеет ухом пускать мыльные пузыри, и только то, что это не «IT-тематика» мешает мне об этом написать на хабре.
А тоже цирковой трюк :)
А _хороший_ дисковый массив и так стоит как частный самолет :)
Да ничего они не заставляют. Конкретно это скорее трюк, нежели работоспособное, повторяемое и надежное решение.
Вот я знаю человека, который умеет ухом пускать мыльные пузыри, и только то, что это не «IT-тематика» мешает мне об этом написать на хабре.
А тоже цирковой трюк :)
А _хороший_ дисковый массив и так стоит как частный самолет :)
ну… хороший дисковый массив и так стоит несколько дороже какого нить самолётка типа «сесна»
Стандартное решение — это что такое? Кто его стандартизировал? Или вы торгуете корпоративными приблудами и вам обидно, что кто-то может обходиться без вашего железа и делать все софтово и не сильно хуже? Предлагаете для частного FTP-сервера покупать ES за мульён баксов?
Судя по вашей фразе, все что не стадартно, то не нормально. А я вам скажу, что ненормально — это покупать RAID массивы за 10 тыс баксов, когда можно обойтись md. Нормальное решение оно потому и называется нормальным, потому что адекватно задаче, а не стандарту.
Судя по вашей фразе, все что не стадартно, то не нормально. А я вам скажу, что ненормально — это покупать RAID массивы за 10 тыс баксов, когда можно обойтись md. Нормальное решение оно потому и называется нормальным, потому что адекватно задаче, а не стандарту.
> Или вы торгуете корпоративными приблудами
Угадали, но не совсем. Я не только торгую «приблудами», я еще и помогаю (за деньги, причем неплохие) восстанавливать данные разным самодельщикам, с подобных вот «хоронилищ данных».
Так что я не против, вовсе нет, как можно кусать кормильца, что вы :)
> Судя по вашей фразе, все что не стадартно, то не нормально.
Отож. Знаете, есть такая поговорка: «Люди делятся на тех кто делает бэкапы, и тех, кто их будет делать». Есть люди, которые пользуются типовыми, проверенными и надежными решениями, и те, кто пока еще этого не делает. :)
> А я вам скажу, что ненормально — это покупать RAID массивы за 10 тыс баксов
За 10 тысяч? Точно с такой дешевкой связываться не стоит, тут я с вами совершенно согласен.
> Нормальное решение оно потому и называется нормальным, потому что адекватно задаче, а не стандарту.
Опять согласен. Для того, чтобы хранить порнуху, накачанную из торрентов и локалки — стопудово. Но если честно, то мне бы лично времени было бы жаль все равно.
Нет, я выше уже написал, когда стоимость рабочего времени админа и цена хранимых данных стремится к нулю — отчего бы не поиграться с экспериментами… ;)
Угадали, но не совсем. Я не только торгую «приблудами», я еще и помогаю (за деньги, причем неплохие) восстанавливать данные разным самодельщикам, с подобных вот «хоронилищ данных».
Так что я не против, вовсе нет, как можно кусать кормильца, что вы :)
> Судя по вашей фразе, все что не стадартно, то не нормально.
Отож. Знаете, есть такая поговорка: «Люди делятся на тех кто делает бэкапы, и тех, кто их будет делать». Есть люди, которые пользуются типовыми, проверенными и надежными решениями, и те, кто пока еще этого не делает. :)
> А я вам скажу, что ненормально — это покупать RAID массивы за 10 тыс баксов
За 10 тысяч? Точно с такой дешевкой связываться не стоит, тут я с вами совершенно согласен.
> Нормальное решение оно потому и называется нормальным, потому что адекватно задаче, а не стандарту.
Опять согласен. Для того, чтобы хранить порнуху, накачанную из торрентов и локалки — стопудово. Но если честно, то мне бы лично времени было бы жаль все равно.
Нет, я выше уже написал, когда стоимость рабочего времени админа и цена хранимых данных стремится к нулю — отчего бы не поиграться с экспериментами… ;)
Я не только торгую «приблудами», я еще и помогаю (за деньги, причем неплохие) восстанавливать данные разным самодельщикам, с подобных вот «хоронилищ данных».
Я не зря упомянул слово «адекватный» применительно к решению. Если в конторе нет спеца, который понимает как это работает, а все сделано тупо по HOWTO, то туда им и дорога. Не для них, как говорится, делалось.
Есть люди, которые пользуются типовыми, проверенными и надежными решениями, и те, кто пока еще этого не делает.
Не делайте из «проверенных» решений панацею, ломаются они ничуть не реже, чем софтовые поделки (см. выше, если правильно все настраивать). Разница лишь в том, что с софтовой поделкой я сам себе злобный буратино, но мне и карты в руки, и если они прямые, то я все быстро исправлю. В случае с корпоративными решениями мне остается только молиться, звоня в техподдержку, чтобы приехал вменяемый спец. Поверьте, я не адепт поделок, у меня и ваших «проверенных надежных» решений хватает и головной боли с ними (естественно, я их даже пальцем не трогал, железки + установка + настройка — все в комплекте закупалось), так что знаю о чем говорю.
За 10 тысяч? Точно с такой дешевкой связываться не стоит, тут я с вами совершенно согласен.
Очевидно, миллионное решение невозможно заменить на md, я указал то, которое можно. Как бы вы не старались, доказывая что стандартные проверенные решения лучше, Google вам не даст этого сделать, доказав обратное. Я достаточно наработался в корпоративном секторе в России и скажу вам, что здесь (в отличие от России) умеют ценить и деньги и тех, кто может подготовить адекватное решение, а не тупо «слить бабло на сторону».
Нет, я выше уже написал, когда стоимость рабочего времени админа и цена хранимых данных стремится к нулю — отчего бы не поиграться с экспериментами… ;)
Слава богу здесь не так :) Первое растетет пропорционально второму :)
Это все хорошо, у меня дома файлопомойка на LVM то-же. Но коллега, на что все это бекапить??? Лента в 100Гб стоит 100$ а у меня уже все в терабайтах!
НЛО прилетело и опубликовало эту надпись здесь
А пожар/молния/snatch?
НЛО прилетело и опубликовало эту надпись здесь
Да ладно, кассеты относятся к другу (в банковскую ячейку).
не шибко экономично.
Разве что сделать кучу архивов с названиями как у порно-фильмов и постараться по-быстрому раздать на торрент-трекерах :) Так, глядишь, что-нибудь да сохранится. Это, конечно, из бюджетных решений, до 100$ :)
и кто это будет долго сидить? :)
дело не в стоимости 100гб… а в стоимости данных которые эти 100гб занимают.
если это 100гб hd видео с торрентс.ру это одно…
а если это база системы документооборота, эт совсем другое
если это 100гб hd видео с торрентс.ру это одно…
а если это база системы документооборота, эт совсем другое
А почему не iscsi?
НЛО прилетело и опубликовало эту надпись здесь
Это недавно так стало. Честное слово. Лет 10 наверное всего.
хм. я, конечно, не претендую на правильность, но: (цитата из мана)
SYNOPSIS
ps [-aCcefHhjlmrSTuvwXxZ] [-O fmt | -o fmt] [-G gid[,gid...]] [-M core]
[-N system] [-p pid[,pid...]] [-t tty[,tty...]] [-U user[,user...]]
ps [-L]
SYNOPSIS
ps [-aCcefHhjlmrSTuvwXxZ] [-O fmt | -o fmt] [-G gid[,gid...]] [-M core]
[-N system] [-p pid[,pid...]] [-t tty[,tty...]] [-U user[,user...]]
ps [-L]
Да там целая история.
NAME
ps — report a snapshot of the current processes.
SYNOPSIS
ps [options]
DEscriptION
ps displays information about a selection of the active processes. If you want a repetitive update of the selection and the displayed
information, use top(1) instead.
This version of ps accepts several kinds of options:
1 UNIX options, which may be grouped and must be preceded by a dash.
2 BSD options, which may be grouped and must not be used with a dash.
3 GNU long options, which are preceded by two dashes.
Чисто похоливарить :)
NAME
ps — report a snapshot of the current processes.
SYNOPSIS
ps [options]
DEscriptION
ps displays information about a selection of the active processes. If you want a repetitive update of the selection and the displayed
information, use top(1) instead.
This version of ps accepts several kinds of options:
1 UNIX options, which may be grouped and must be preceded by a dash.
2 BSD options, which may be grouped and must not be used with a dash.
3 GNU long options, which are preceded by two dashes.
Чисто похоливарить :)
Было бы неплохо написать о уже готовых решениях, например Samba может нормально масштабироватся, можно использовать различного рода ФС GFS например итд.
а зачем это? если нужно дешевое хранилище, покупается мамка с 12ю сата портами и двумя гигабитными сетевыми на борту, забивается под завязку жесткими дисками, сейчас выгодно терабайт. Получаем 12 терабайт массив с 2мя гигабитами в сеть. Всяко дешевле чем несколько компов. Расширяемость тоже не вопрос: берем 16 портовый промайз супертрек, и втыкаем еще 16 винтов, по ходу дела можно заменять старые терабайты на двушки, и получить в итоге, в максимуме (4x16 супертрека, 12 на борту по два терабайта на каждую дырку: 172 тера :)
Мне даже кажется, что sata-порты лучше набрать PCE-X адаптерами. Дешевле выйдет, мне кажется, адаптор на 4 порта стоит 700 рублей ведь? Вот и двенадцать портов выйдет в 2100 рублей, и если сломается, то один можно заменить, а не всю мамку. Что-то я нудный сегодня, извините.
проблема в расширяемости, рано или поздно порты кончатся, тогда придется вспомнить про 16портовые супертреки (ну или аналог), а старые сата контроллеры куда? правильно — в утиль, так зачем сразу их покупать?
На самом деле просто фонить будет(уже после второго-третьего контроллера).
Если в мамке 5 слотов PCI-E, то это не значит что их все можно забить.
Если в мамке 5 слотов PCI-E, то это не значит что их все можно забить.
от дешевых PCI контроллеров — наверняка
от 16портовых супертреков — ничего не фонит :)
от 16портовых супертреков — ничего не фонит :)
Почему же… PCI (и в том числе PCI-X) похож на шину, то PCI-E скорее похож на древовидную структуру. Там даже, когда идет речь об PCIe x16 — значит 16 отдельных линий (lane). А если 5 PCIe портов по скажем x4, значит всего 20 линий (независимых) к «хабу», т.е. к северному мосту.
А вообще я против контроллеров, которые просто добавляют SATA порты. Почему бы не ставить если уж на то пошло старье, например Adaptec 2810 (2820) — 8 SATA портов и какой никакой RAID аппаратный. Хотя если строить концепцию описанную выше, почему бы и нет.
А вообще я против контроллеров, которые просто добавляют SATA порты. Почему бы не ставить если уж на то пошло старье, например Adaptec 2810 (2820) — 8 SATA портов и какой никакой RAID аппаратный. Хотя если строить концепцию описанную выше, почему бы и нет.
Логично. Но наверное, это не слишком бюджетно будет?
У нас для таких устройств прижилось отличное слово «хоронилище» ;)
Три интересных ссылки:
1. xgu.ru — немало информации об AoE
2. coraid.com — фирма делает «корбки» которые экспортируют свои массивы по AoE
3. pitstop — чуваки помешанные на компьютерных SAN, есть дисковые хранилища с SAS Экспандерами. Победоносная фирма. Отправить от них к нам 25 кг железа стоит 200$, + таможня может взять до 30% от цены. Как я их только не уламывал задекларировать цену хотя бы в пределах в 1000$, они на это не идут. Но всеравно их цены с учетом всего вышесказанного очень хороши.
1. xgu.ru — немало информации об AoE
2. coraid.com — фирма делает «корбки» которые экспортируют свои массивы по AoE
3. pitstop — чуваки помешанные на компьютерных SAN, есть дисковые хранилища с SAS Экспандерами. Победоносная фирма. Отправить от них к нам 25 кг железа стоит 200$, + таможня может взять до 30% от цены. Как я их только не уламывал задекларировать цену хотя бы в пределах в 1000$, они на это не идут. Но всеравно их цены с учетом всего вышесказанного очень хороши.
А насчет LVM поверх AoE, пускай даже каждый из них это RAID5 (программный или аппаратный) — мне все равно страшно.
Не знаю я может дурак и параноик, но я LVM всегда побаивался. Старался обходится средствами рейд контроллера. Но правда и задачи построить что-то огромное (и самое главное масштабируемое) не было. Если задача сделать 4Tb значит надо купить N дисков по M гигабайт и сделать из них например RAID 5E. Причем многие контроллеры позволяют наращивать дисковый массив постепенно.
Хотел бы услышать мнение людей споткнувшихся о разрушившийся LVM. Что будет, если в описанном в статье примере разрушиться RAID 5, который обозначен как node 2, как спасать остальное?
Хотя если умирает аппаратный контроллер (такое тоже к сожалению бывает, и не редко) наверно туши свет. И не знаю как теперь жить дальше и во что верить.
Не знаю я может дурак и параноик, но я LVM всегда побаивался. Старался обходится средствами рейд контроллера. Но правда и задачи построить что-то огромное (и самое главное масштабируемое) не было. Если задача сделать 4Tb значит надо купить N дисков по M гигабайт и сделать из них например RAID 5E. Причем многие контроллеры позволяют наращивать дисковый массив постепенно.
Хотел бы услышать мнение людей споткнувшихся о разрушившийся LVM. Что будет, если в описанном в статье примере разрушиться RAID 5, который обозначен как node 2, как спасать остальное?
Хотя если умирает аппаратный контроллер (такое тоже к сожалению бывает, и не редко) наверно туши свет. И не знаю как теперь жить дальше и во что верить.
да, был и в моей жизни печальный случай потери аппаратного контроллера. теперь смотрю в сторону www.coda.cs.cmu.edu/
А сейчас есть такая штука — mhddfs.uvw.ru/ — очень чудесатая для файловых серверов и кластеров из них.
А если одна из нод упадет? Всё, в даун уходит весь LVM-storage?
Сейчас развиваем похожую темку с раздачей тяжелого контента. Но из-за уязвимости такого Супервайзера (суммарная пропускная способность небольшая), решили просто делать независимые ноды — на каждом 10к 300гб sata, 1gb eth, nginx — вебморда проекта дает ссылку на нужный сервер исходя из своих наблюдений.
супер, спасибо за интересное решение.
«папочки»… буэ
Извините, не сдержался.
Извините, не сдержался.
Никогда не работали с FreeBSD и инфраструктурой GEOM?
Там тоже есть интересные вещи: GCONCAT(8), GVIRSTOR(8), GGATED(8). И всё это компонуется в доступные уровни RAID.
Там тоже есть интересные вещи: GCONCAT(8), GVIRSTOR(8), GGATED(8). И всё это компонуется в доступные уровни RAID.
Доклад про ATAoE на Rootconf:
Система хранения данных из того, что было под рукой
Система хранения данных из того, что было под рукой
Господа, а что будет с данными если один из нодов вдруг станет недоступен на рабочей системе?
К примеру свич повиснет, питание отпадёт и т.д
У LVM же данные распределёно хранятся, получается некоторые данные станут недоступны.
К примеру свич повиснет, питание отпадёт и т.д
У LVM же данные распределёно хранятся, получается некоторые данные станут недоступны.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Организация распределенного дискового хранилища с возможностью неограниченного расширения с применением технологий LVM и ATAoE