Как стать автором
Обновить

Домашняя лаба. Как собрать домашнюю инфраструктуру мечты

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров25K
Всего голосов 18: ↑12 и ↓6+6
Комментарии41

Комментарии 41

Не, я понимаю стремление всё автоматизировать и загнать в скрипты, контейнеры и прочее. Но домашний сервер ставится и работает потом годами, за то время уже могут и технологии поменяться, и что-то новое появиться может. Да и для разовой задачи не стоит возиться со всем этим. Я к тому, что не стоит заморачиваться, не так это сложно всё настраивается, даже если крякнет ссд с системой, можно из бэкапа развернуть, да даже с нуля тоже можно всё настроить.

Я дома на голое железо поставил Debian + transmission + minidlna + samba. Всё, стоит, торренты качает, кино показывает, файлы можно закидывать и хранить. Да, по-хорошему бы рейд собрать, но меня жаба душит, критическое есть на оффлайн диске и ещё в паре мест.

При этом обошлось всё в 5к рублей - купил материнку/проц/память б/у на i5-4650 (потом разменял с другим компом на i3), корпус и кучка дисков разных уже были, разной степени изношенности. В планах разве что диск поболее добавить.

С годами, и с получением опыта инженера, голод стал расти, и маленькая коробка, которая "работает", уже больше не удовлетворяла, хотелось больше)

На примере: проект, который будет финальной главой моей истории имеет в себе ССД сторадж в сервере, который отдает по 10гигбитной линии доступ для ПК. Соотв. зфс управляет дисками на сервере, а "библиотеку" можно подключать к другим ПК (например друзей) или всякие другие приколюхи)

Один из основных навыков, которым должен обладать хороший инженер -- это всегда придерживаться принципа "keep it simple". Не надо переусложнять проект без необходимости.

Зачем вам горячее резервирование свичей по схеме 1+1 и серверов 2+1? У вас в вашей лабе крутятся настолько серьезные тесты, что простой даже в несколько минут недопустим?

С первы полностью согласен и поддерживаю) Но просто получается сделать тогда, когда за спиной уже есть достаточно опыта и понимания.

Касательно первой схемы, я специально отметил, свой "дата-центр", а не homelab. Целевая схема для дома на второй схеме, первая дана как пример, как какая-нибудь компания собирала бы серваки для своего бизнеса (и это слово отмечаю, в описании схемы).

Не все читатели, вероятно, знакомы с практиками и корпоративными подходами, потому показал некоторый инсайт, для формирования понимания.

У вас в названии статьи написано "домашняя лаба", а не "домашний дата-центр". А если это дата-центр, то начать надо было бы с того какие сервисы вы предполагаете на нем запускать. И так ли необходимы ему корпоративные практики и подходы?

В квартире стоят в качестве домашних серверов nanopi-r5c и raspberry, в доме стоит OrangePiZero2
Крутятся там себе Ubuntu со всем что нужно(HA, торрент-клиент, самба и прочее) и жрать не просит
Да помимо этого те что в квартире еще и полностью готовые работать как рабочие станции, с установленными всеми приложениями, с настроенным wm и так далее(это на случай выхода из строя основного компа)
И стоят первые две уже не первый год, все работает, только к малинке заменил в свое время хард который там для файловой помойки, 2 терабайтник сдох на ровном месте, даже не предупреждал ни о чем смартом, я купил взамен на 4 тб. Сейчас думаю о покупке на 8-10 тб туда.

А сохранность важных данных обеспечиваю просто бэкапом между этими тремя серверами, это надежней рейда в определенных смыслах, потому что разные накопители, подключены к разным розеткам(ну и тот что в доме удален от квартирных на 30 км и имеет свой UPS вообще)

так домашняя хранилка или лаба? начнем с того, что минус за кликбейтный заголовок.

Дальше минусы кончились, но были бы - за несоотвествие темы содержимому; за много воды ни о чем; за затертые темы "я тут не смог сделать нормальный nas"; отдельный минус за слово сторадж (поясню, английское storage произносится как сторейдж)

1) началось с простой хранилки, закончилось лабой. В введении даю понять, что статья будет не одна, и пройдусь по всем шагам развития из NAS-а в Лабу с несколькими layer-s (compute, storage, попытка сделать sdn)
2) техника и сложность статей (а тут специально стоит простой) будет менятся и усложнятся по мере того, насколько сложнее становится проект (опять таки от НАСа, до около серверной инфраструктуры дома)
3) storage - скорее читается сторэдж, сторадж тоже встречается в рунетах

Чета как то очень сложно все. 3 свитча, при этом один из них подключен через точку доступа? И в итоге всего пара компов, вайфай и полтора сервера на балконе?

свич и роутер стоят на входе в квартиру. свич поешный чтобы питать точки, плюс разгрузить сам роутер от задач по связке. За ПОЕ свичом идет кабель в точки доступа, и от одной точки до балкона идет еще один кабель. на балконе уже, кабель в гигабитный свич. и отдельный 10 гигабитный свич для связи хранилки с другими ПК

Ну тогда получается что если одна точка доступа сляжет - упадет вся сеть? Зачем добавлять дополнительную точку отказа?

Подарок от "вторички") К своему сожалению, дом и ремонт прошлыми жильцами сделан так, чтобы проложить именно кабелевку по уму, уже просто не получится без капитального (видели бы, что тут сделал с элкстричеством, просто ужас).

Бекап план на случай отказа Точки, это переходник мама-мама для RJ45 (6a), который уже даже лежит рядом на горячую замену.

Горячая замена возможна только если кто-то рядом находится. Что если точка отказала, никого в квартире нет, а доступ нужен прямо сейчас?

1) работаю довольно часто из дома, потому не проблема)
2) я все таки рассказываю больше про домашнюю лабы или мини инфру, а не инфраструктуру для бизнеса, если я не смогу послушать музыку через Плекс, неприятно, но не смертельно
3) сервисы, которые нужны вне дома или 24/7, вынесены в облачную ВМку
4) за 3 Года точки доступа ни одной аварии тьфу тьфу тьфу не было

Ну т.е. в сети есть точка отказа которую без вмешательства не починить. Во вторых вся схема как бы сама по себе не подразумевает хоть какой-то отказоустойчивости (ведь я так понимаю выход гигабитного коммутатора из схемы "Моя текущая схема" подразумевает развал сети на 2 части), но при этом вы заявляете "до по сути такой же схемы на "минималках"" сравнивая ее с схемой где есть HA?
Была схема в ширь с отказоустойчивостью, отрезали от нее половину, убрали все промежуточные связи и на выходе получается ну ни разу не такая же схема, и даже без минималок и прочего.
И зачем был весь этот опус?

Опять же я не совсем понимаю при чем тут "тестирование it-систем". Хоть и в разрезе того что это первая статья.

Схему того, как строят свой ДЦ компании был приложен, чтобы понимать, к чему хорошо бы стремиться, но не обязательно делать для дома или себя в рамках тестового контура или лабы.

Тестирование IT-систем: как передача своего опыта и мыслей по эксплуатации разных Storage-OS (что есть IT-системы)

У меня пока есть один вопрос - сеть в итоге в последней статье остается такой же? количество серверов и связанность всего этого?

От хренолоджи для хранения информации я отказался сразу, мой конфиг r5 3600, 32 озу, 3 старых диска по 320гб(кино сериалы и тд) , 2 по 2тб новых ironwolf в зеркале для важной информации, windows server 22, игровой комп он же основной рабочий, и купленный synology на 4 диска, с 4 по 4 в рейде 5 для критической информации. И лежит ещё проц r5 5600x под лабу, и ещё есть сборка i3 2320 8озу не задействована

Моя домашняя лаба: б/у сервер supermicro с Intel E5, набитый SSD и оперативной памятью + proxmox как система виртуализации.

Летом лежал на балконе, на зиму разместил в датацентре (примерно 3,5 тыс. руб/месяц), там он и остался.

Важная информация синхронизируется с git, образы ВМ бэкапятся на себя же через proxmox backup server (с дедупликацией).

Сеть виртуализирована.

Да, сервер сам по себе - единая точка отказа, но это - лабы. А за счет дешевизны компонентов, все меняется за копейки по необходимости.

Маршрутизатор. Микротик.

Гигабитный свитч микрот 24

Сервер DELL T430 2 2690V4 128 оперы.

Raid SSD, в корзине еще один на 4 по 4 тб.

6 тб для бэкапов.

В сервере 10g карта и в компе тоже.

Файлы летаю со скоростью света.

Esxi 6.7 u3 самая стабильная. Вечная.

Unifi AP LR и Unifi AC Mesh.

Дофига виртуалок.

Хабики 5 портовые гигабитные TPLINK у телика+ приставка.

Только гигабитная сеть всего.

Wifi только для телефона.

Apc 1000 с сетевой картой у сервера. Ap9631 вижу все о APC логи и напряжение+ управление.

Apc1000 у компа с сетевой картой Ap9630.

Комп завис. Не беда. Делаю на APC перезапуск портов питания с задержкой и все. Комп автозапускается сам.

Ups 1000 на телик и приставку. Ибо скачок напряжения лишит радости смотреть новости.

На всю квартиру ZUBR 63.

Вот моя инфоаструктура.

Ну раз уж пошла инфа о своих домашних зверьках - вот мои два (собранные 5 лет назад):

Планки памяти обычные Desktop/DDR3, диски, блок питания из того, что было.

Внутри FreeBSD (недавно обновил до 13.3) + ZFS + CBSD. Сервисы по контейнерам, сетевое взаимодействие ограничено PF.

Потребление питания - 20 Ватт/час (т.е. менее 100 руб в месяц).

Сервисы стандартные: Samba, MiniDLNA, Transmission, OpenVPN, Dokuwiki, NextCloud.

Есть возможность запустить парочку Linux через CBSD+BHYVE (но необходимости нет).

Помню в молодости так же развлекался. Это теперь я уже дошел до того, что дома хватает одного ноута на 13 дюймов)

Резервное питание не упомянули, в квартире есть вероятность остаться без света, тогда вся эта пляска с HA может оказаться бесполезной

Да тут нет ни какого HA...

Давно у меня уже домашняя лаба, пережила 10–15 итераций по конфигам. В итоге остановился на таком варианте:

1) NUC + Proxmox - для виртуалок, контейнеров и всего, что для души угодно. Тут и виртуалки тестовые и HA и хостинг с DB и Torserv и много всякого.

2) Synology - для бэкапов, торрентов, фоточек, фильмов, видеонаблюдения и всего, что связанно с хранением данных и удаленным доступом к ним.

3) OrangePI + Zabbix - мониторит все это добро + на мониторинге рабочие сервера.

4) Keenetic - ну тут не надо объяснять зачем.

Веден ли с OrangePI + Zabbix на монитор в ситуационный центр (с красивыми графиками на)?

Выведен в отдельную облачную вкладку в Я.браузере. А постоянно мониторить нет смысла, в случаях кипиша прилетает алерт в телегу

5) УПС с мониторингом потребления в Zabbix

Домашняя лаба :) Находится в мастерской - т.е. в грязном помещении. Соответственно, отдельное внимание уделено охлаждению - положительный градиент давления, HEPA на входе и так далее.

Интересно:

  • hepa на входе - лайк, но насколько шумно получается?

  • MikroTik CRS - как себя показывает, у него не пассивное охлаждение?

  • Вижу что-то похожее не термостат, как он участвует в управлении климатом?

Там ещё 4 50-ваттных дельты. Достаточно шумно конечно. Но в помещении находиться можно. Это отдельно стоящее здание - мастерская так что не страшно.

CRS неплохо . Он всего гигабит, соответственно сервера имеют линк 2 гигабита, особых проблем с производительностью не ощущаю. Сам по себе микрот это отлично. Хотя в плане конфига зоопарк. У меня их в доме 4 разных и у каждого вланы наслаиваются очень по разному. Но правильно брать тот который с рое на борту, чтоб без внешнего бп и можно было всякое попитать с него (точку доступа например и камеры) .

Это датчики климата на самом деле - в 4 точках стойки как по книжке.

Вентиляторы и датчики работают по модбасу. Прикрутил модбас по человечески к home assistant https://github.com/AlexMKX/hassio_eva_ics . В итоге, входные кулера шимятся в зависимости от температуры сзади вверху стойки. Поэтому, если хочу чтоб было по тише - надо всего лишь включить кондиционер по сильнее в мастерской ?

Ещё по поводу шума - важный момент что у меня стоят сервера. Т.е. в них высокопроизводительные кулеры и производительность входных кулеров должна быть высокой иначе серверы потянут пыльный воздух через щели в стойке а так же будет захлест горячего воздуха.

Так что приходится жертвовать шумом.

Соответственно, управлялка выглядит вот так. Ещё надо или заббикс или прометея подключить для алертов. Пока руки не дошли.

Инфра мечты) когда смогу позволить свой гараж, обязательно такое же сделаю)

хранилку, или сервак, или мини облако

А посоветуйте материал, который не только начнётся простыми словами, но и весь будет понятен тому, кто подходит с такой же задачей, но профессионального опыта не имеет. Я повёлся на такое начало, честно попытался понять прочитанное, но во многих местах не хватило понимания целесообразности определённых решений, чтобы понять, что и как можно упростить для себя.

В следующей статье, как раз и планировал дать туториал небольшой и инструкцию как подходить к вопросу начинающему.

Ну и на что смотреть уже прошаренным при начале своего домашнего проекта.

а какая задача то? Домашняя лаба - оно вообще для красноглазых игрищь по идее, и этим занимается обычно те кто уже несколько в теме, либо для обучения, железо в половине случаев (полу)профессиональное при этом.

Зачастую же у пользователей задачи проще: сделать файлокачалку, кинопомойку и сотреть кино, файломомойку и организация совместного доступа к документам и всяким фоточкам, умный дом и всякая автоматизация. А решать то можно очень разным путем. Большое значение дает объем хранимых данных и требования к надежности. Есть много готовых решений но прям на всех вес равно не угодить же

А почему заголовок «лаборатория»? Не вижу тут инфры под работу или проекты. Просто хранилка и фильмы смотреть, если я правильно понял. Для таких целей очень сложно всё развернуто. Неужели не хватило бы просто поднять Plex и NextCloud? Без всех этих танцев с бубном. Естественно на сервере на отдельных ВМ.

Мой опыт и саморазвитие выстроились мой путь до лаборатории начиная с НАСа и дальше в сторону полусерваков и каждого со своей ролью.

Камрад, ну как там с продолжением?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории