Да, выходит 20TB.
G4 я не покупал, валялись, решил задействовать.
Далее — если вы купите один R920 то никакой отказоустойчивости у вас не будет. я бы на вашем месте взял несколько Dell R320 и размазал на них всю нагрузку. Например opennebula с этим бы прекрасно справилась.
Для MDS не нужен отдельный хост, с 0.7Х ветки их можно ставить на каждый хост. Активен будет один, а остальные «на подхвате», аналогично с mon. у меня на каждой ноде 2 OSD, MON, MDS.
Ну не скажите, у меня собрано на очень старом железе и всё летает. Самое дорогое — винты.
Сервера HP Proliant DL320 G4 4GB RAM 2TB*2HDD
Коммутаторы D-link DGS3100-24TG
Суммарно 5 серверов, до 1000iops проблем не знаю.
Попытаюсь ответить, так как у меня CEPH в продакшене.
1 — Да можно.
2 — Зависит от того как вы выносите журнал на SSD, и от вашей сети. Если вы пилите один SSD под журнал на 8+ винтов — то пропадает уже при 5 винтах, так как суммарная скорость записи на 5 разных HDD и на один SSD сравнивается. Про сеть — если у вас сети данных и сети синхронизации разделены и скорость 1G по больше 5 OSD на один сервер не ставьте. Если же сети не разделены то в 2 раза меньше. Ну а если у вас 10G и lowlatency свитч то можно и побольше поставить.
3 — Если у вас хороший SATA контроллер, и быстрая сеть — можно и больше 8.
4 — Да, правда, нода умирает, но в процессе восстановления находит данные и актуализирует их.
PS: поделитесь ссылкой на статью.
Думаю что такую историю могут рассказать многие связисты. Спасибо, было очень приятно вспоминать времена монтажных работ, бесподобных видов с крыш и еще много много всего.
70 мегабит — да про сеть, причем драйвер virtio. У драйвера intel скорость поменьше но и пинг меньше (для задач допустим телефонии — очень хорошо) драйвер VMware (появился в 3.2) еще не пробовал, руки не дошли. Диск в такой конфигурации должен быть не хуже LVM, так как обращение происходит аналогично. Точных тестов у меня нет, внедрил везде CEPH. Очень хотелось бы услышать результат тестирования прямого обращения к диску и через LVM, думаю результаты должны быть в пределах погрешности, но в случае LVM это было бы более удобно, так как делается из WEB интерфейса.
Ну и если уж скорость LVM не подкачает — то я бы собрал RAID 10 (он быстрее) и сделал на LVM.
Тогда прошу прощения, немного не понял.
PS: по поводу физических дисков внутри ВМ — лучше было купить самый просто SATA контроллер и прокинуть его полностью, используя IOMMU. Аналогично поступить и с сетевой картой. В противном случае внутри ВМ больше стабильных 70 мегабит за пределы сервера с proxmox вы не получите.
Возможно я немного не в теме, но зачем FreeNAS ?? По мне так — это лишняя нагрузка. Если сервер один — то лучше использовать LVM раздел. Если же сервера 2 и более — то лучше использовать появившийся, в новом релизе, CEPH.
Использовали аналогичную конструкцию, но в итоге отказались от нее. Перешли на Ceph + Proxmox, хоть и говорят что Ceph сырой, но вполне нормально ворочается, и показывает вполне адекватную скорость. Единственный нюанс — это то что кол-во серверов под CEPH должно быть больше как минимум на один, чем серверов Proxmox, иначе при хорошей нагрузке всё может развалиться.
При использовании DRBD в режиме master-master, ставить режим работы B чревато негативными последствиями, не раз ловили ситуацию когда из за одновременной записи, на разные LUN, на разные сервера — DRBD уходил в split-brain.
Использование в режиме master-slave считаю расточительным!
По поводу того какой спектр нужен растениям — однозначного мнения нет. Вот допустим взять к примеру ваше рассуждение и рассуждения Такаши Амано (знаете его ведь, правда ?) Он утверждает что растениям нужен больше синий спектр, так как красный больше всего поглощается водой, в своих аквариумах он использует лампы 8000К, хотя они и пресные. Тут думаю нужно учитывать еще то — какие растения у вас в аквариуме. Я перечитал много литературы, и вывод мой таков — нужно комбинировать. у меня в моем 350 литровом аквариуме были 2 лампы T8 Hagen MarineGlo 39W, 2 лампы T8 Hagen AquaGlo 39W и одна T8 Hagen SunGlo 39W. Росло всё что можно, ну при этом естественно у меня был баллон CO2 из огнетушителя, внешник с циркуляционным насосом и в довесок с бытовыми фильтрами (от мелкодисперсной мути, 5микрон). Растения выбрасывал ведрами, так как в аквариумных магазинах не успевали продавать. При этом растения были не самые простые.
PS: Светодиоды не подходят для освещения, сколько было экспериментов — лучше ЛЛ, ДНАТ и МГ — ничего нет.
В корне не верно! Рыбы без еды могут и неделю прожить, а вот растения, без света, деградируют очень быстро. Отражать солнечный свет аналогично нельзя. Весь аквариум будет в нитчатке или того хуже в черное бороде.
Когда я работал у провайдера — нас заставляли 2 раза в день обновлять список запрещенных сайтов. Мы это делали утром и вечером, а чтобы не париться написали программу которая при обнаружении нужной ЭЦП в компе сама запрашивала и обновляла список.
И естественно никого не предупреждали и даже сами не просматривали этот список. В случае неисполнения грозились отобрать лицензию.
Но я и не хочу в поездке по любому маршруту таскать с собой СХД и батарейки к нему. Перед поездкой я могу скачать фильмы на внутреннюю память планшета. А тонкому клиенту достаточно и связи по 3G. Всё упирается в софт и в доступ в интернет. Причем последнее более актуальная проблема, но и обсуждать ее нужно не в этом топике.
G4 я не покупал, валялись, решил задействовать.
Далее — если вы купите один R920 то никакой отказоустойчивости у вас не будет. я бы на вашем месте взял несколько Dell R320 и размазал на них всю нагрузку. Например opennebula с этим бы прекрасно справилась.
Для MDS не нужен отдельный хост, с 0.7Х ветки их можно ставить на каждый хост. Активен будет один, а остальные «на подхвате», аналогично с mon. у меня на каждой ноде 2 OSD, MON, MDS.
Сервера HP Proliant DL320 G4 4GB RAM 2TB*2HDD
Коммутаторы D-link DGS3100-24TG
Суммарно 5 серверов, до 1000iops проблем не знаю.
1 — Да можно.
2 — Зависит от того как вы выносите журнал на SSD, и от вашей сети. Если вы пилите один SSD под журнал на 8+ винтов — то пропадает уже при 5 винтах, так как суммарная скорость записи на 5 разных HDD и на один SSD сравнивается. Про сеть — если у вас сети данных и сети синхронизации разделены и скорость 1G по больше 5 OSD на один сервер не ставьте. Если же сети не разделены то в 2 раза меньше. Ну а если у вас 10G и lowlatency свитч то можно и побольше поставить.
3 — Если у вас хороший SATA контроллер, и быстрая сеть — можно и больше 8.
4 — Да, правда, нода умирает, но в процессе восстановления находит данные и актуализирует их.
PS: поделитесь ссылкой на статью.
Посыпаю голову пеплом, подскажите командочку.
Он поддерживает только 4 GB
Накатить на этот том LVM и добавить из вэб интерфейса.
Ну и если уж скорость LVM не подкачает — то я бы собрал RAID 10 (он быстрее) и сделал на LVM.
PS: по поводу физических дисков внутри ВМ — лучше было купить самый просто SATA контроллер и прокинуть его полностью, используя IOMMU. Аналогично поступить и с сетевой картой. В противном случае внутри ВМ больше стабильных 70 мегабит за пределы сервера с proxmox вы не получите.
При использовании DRBD в режиме master-master, ставить режим работы B чревато негативными последствиями, не раз ловили ситуацию когда из за одновременной записи, на разные LUN, на разные сервера — DRBD уходил в split-brain.
Использование в режиме master-slave считаю расточительным!
PS: Светодиоды не подходят для освещения, сколько было экспериментов — лучше ЛЛ, ДНАТ и МГ — ничего нет.
И естественно никого не предупреждали и даже сами не просматривали этот список. В случае неисполнения грозились отобрать лицензию.