Привет, Хабр! Это небольшой рассказ о моей домашней лаборатории на которой я обучаюсь различным решениям необходимых DevOps-инженеру. Для начала пробежимся мини-обзором оборудования, а после - расскажу о том, над чем еще стоит поработать.
Сервера
В своем решении я использую сервера на платформе SuperMicro 5017C-MF. К сожалению или счастью, из 4-ех серверов один попался старой конфигурации на базе платы X9SCL-F, остальные же - X10SLL-F. Их отличие - плата 9 поколения поддерживает процессоры первого и второго поколения, а плата 10 поколения, поддерживает процессоры 3 и 4 поколения.
Отличить их можно также по внешнему виду:
Итоговые характеристики серверов в нашей сборке:
- Сервер #1 (консольный) - X9SCL-F, Xeon E3-1220v2, 8GB RAM, 60GB SSD (ОС) + 8TB HDD (NFS-шара)
- Серверы #2,3,4 (воркеры) - X10SLL-F, Xeon E3-1220v3, 16GB RAM, 60GB SSD (ОС)
Коммутация
В роли коммутатора я выбрал Tenda-TEG1016M, т.к. он заинтересовал меня количеством гигабитных портов и функцией VLAN, которая может пригодиться мне в будущем. В дополнение - компактный и весьма солидный вес для такой "игрушки".
ИБП
На данном этапе, вам лучше присесть. Встречайте старичка - APC PowerStack 450. Данный ИБП бородатых годов, но позволяет удобно управлять собой, а также настроить систему алертов благодаря управлению через стандартный COM порт и apcupsd под Linux. Будьте готовы к тому, что взяв данный аппарат никто не парился над сбросом года АКБ в его памяти, а значит - minicom и старые записи на форумах по сбросу всего этого добра станут друзьями на вечер. Как видите - мой экземпляр немного модернизирован - я установил в него блок питания 220v->12v для питания коммутатора, дабы не занимать свободные 4 розетки типа C-13 (спокойно, данный "мод" был сделан после полной проверки ИБП под 100% нагрузкой серверов, дабы понять что для него это не будет перегрузом). ИБП имеет на борту автоматические функции проверки АКБ, панель для быстрого изъятия и замены батарей, а также системы предотвращающие работы под перегрузкой и обширный мониторинг - от напряжения батарей до расчета времени работы от них. Номинальная мощность - 280W, максимальная - 450W.
"Серверный" шкаф
Я не просто так указал слово серверный в ковычках, ведь начало всей данной лабы, судя по комплектующим, уже было достаточно веселым - собираем из того что есть, но красиво.
Ну чтож, первое что мы видим - ящик сделанный из ЛДСП на заказ по внутренним размерам (ширина = 2 рельсы + сервер), также сами рельсы - используются в мебели, на шарах и с механизмом Push-To-Open для защелкивания серверов. Провода прокладывались в небольшые пластиковые площадки под хамуты, а коммутатор закрепляется 4 корпусными винтами в напечатанные на 3D принтере крепления.
Давайте немного подробнее покажу вам как выезжают сервера на данных рельсах, ведь для меня это действительно удобно - можно выкатить оборудование и увидеть все что только может быть нужно, благодаря длине рельс в 450мм сервера не нужно снимать каждый раз.
Итого
Проект собирался на протяжении полугода, постоянно модернизировался и менялся, на данный этап это третья версия - основные проблемы были с самими шкафами, т.к. первые попытки были вместимостью в 8 серверов, из-за чего их приходилось укреплять металлическими углами. На данный момент - ситуация гораздо лучше, а самое главное - это можно масштабировать)
(Я не пошутил - еще один шкаф прикручивается сверху и получается крепкая конструкция состоящая из ячеек)
Остаются мелкие доработки по пропускной способности сети с NFS, а также необходимо сделать какую-то сетку на переднюю панель шкафа, дабы не забивалось быстро пылью.
Заранее отвечу на вопросы - почему вообще я собрал все это, и не использовал обычный серверный шкаф? - Долгое время пытался купить на авито, но постоянно получал отказы на доставку то от Авито, то от покупателей, либо сам шкаф выходил в стоимость куда выше чем я мог бы вложить в этот проект. Плюсом к этому, я видел ряд проблем с креплением серверов - ко мне они попали с "ушками" для установки в стойку, что для меня казалось крайне сомнительной идеей - риск прогиба сервера. Именно поэтому я решил снова изобрести колесо)
Ах да, что же там по цене?
Шкаф: последняя версия - 1т.р. + рельсы 400р*5 + ручки, крепления для проводов, ножки и т.д. ~4т.р.
Сервера: 4.5т.р.*4 + новые кулера 800р*4 + ссд на 60гб 1т.р.*4 ~ 25т.р + 16т.р hdd на 8тб
Коммутатор ~2т.р.
ИБП - 2т.р + новые АКБ 2т.р.
Ну и по мелочи - провода, блок питания в ИБП ~2т.р.
Как итог - данная стойка может запустить на себе в достаточно отказоустойчивый для домашнего использования к примеру Nextcloud, Element, SeaFile и много других сервисов, а также может стать неплохим стартом для изучения IT инфраструктуры, либо просто личной серверной для разработки проектов..но это - уже совсем другая история. Всем спасибо за ознакомление, всем добра!
