Pull to refresh

Comments 106

А меня считают психом, когда видят дома старенький сервер Supermicro в качестве маршрутизатора и торентокачалки.
Наверное не только видят, но и слышат.
На этот счет — я его сделал максимально бесшумным (хотя все равно шумит хорошо). SCSI винты заменил на SATA, огромный вентилятор пересадил с 12v на 7.5 и т.д
А я съехал 3 года назад из квартиры родителей, оставив у них и их котиков круглосуточно работающую рендер-ферму из 5 компов (занимаюсь 3д-графикой как хобби и фриланс) и хостинг из трех компов на шкафу, потому что у провайдера на той квартире анлимный 100 мбит за 300р в месяц с возможностью поднятия тарифа до гигабита (пригород СПБ, провайдер — инфолан).

Так как у них дома ТРИ кота и собака (все — длинношерстные и бешено линяют), проблема с шерстью стояла очень остро — все кулера забивались просто войлоком до состояния валенков и блоки питания горели ужасно.

Проблему решил очень эффективно, но неэстетично. Давно хотел написать про это пост на хабр, но руки не доходили. Нужен такой пост?

Фотки
image
image

Импровизированная стойка на 2 компа:
image

image


Простите, что оффтопом, но про неэстетичные, но эффективные решения и котов вспомнилась история…
...про Артемку
image
UFO just landed and posted this here
Вы устранили источники загрязнений?
Да, мне с моим «сервером-системником» под потолком есть куда расти…
Что-то вот тоже взгрустнулось.
Заголовок
З.Ы. В коробке под упсом — подключенный к упсу автомобильный 45 аккумулятор.
А сам сервак тоже используется куда ни попадя, и в качестве шлюза (острый глаз айтишника увидит 3 сетевки — да-да, у меня 2 аплинка и ospf между ними) и в качестве торрентокачалки и в качестве тестовой фермы, а также веб и просто куча других сервисов.
image

Примерно так же использую, но аплинк один, и лежит это все под потолком на полке в коридоре — ни животным, ни ребенку не достать)
я просто бездетный и безживотный)
Да сейчас у большинства айтишников стоит дома постоянно подключенный к интернету компьютер. И зуб даю, в большинстве случаев это не серверное железо.
У меня даунтайм — пару дней в году — чисто из-за «провайдер + электросеть».
есть необходимость выкачивать некоторые приличные объемы данных, обрабатывать их (не сложные вычисления) и загружать на другие облака результат.
Древний ушатаный нетбук 9" на атоме прекрасно справляется
Стойки нет, но, со временем, всякие микротики, ddwrt, отдельные компы под свою вики, файлохранилище, git и еще по мелочи, заменились одной физической машиной с виртуалками под KVM. Замеров не делал, но по ощущению даунтайм всей этой инфраструктуры сильно снизился.
Зачем KVM? Почему не OpenVZ?
*Большая изоляция VM
*Отсутствие особенностей функционирования (может сейчас это не актуально, но в свое время подъем OpenVPN под OpenVZ попил кровушки. Нет, ничего страшного, но дополнительные сложности, которые необходимо знать)
*Потенциальная возможность поднять не Linux VM (маловероятно, но пусть будет)
Видимо нужен windows-инстант.
В новой многоэтажке вместе с квартирой купил межэтажную кладовку для этих целей. Она как раз находится через стенку от корридора квартиры. Во время ремонта квартиры пробил туда отверстие для трубы 100 мм и все силовые и слаботочные коммуникации из квартиры сходится туда. В кладовке поставил сплитерный кондиционер и купил простенькую серверную стойку. В ней пока живёт один самосборный сервер в 3-хюнитовом корпусе, который используется в качестве файлохранилища, торрентакачалки, интернетараздавалки, VPN-сервера и т.п. Подключён он к простенькому ИБП, который был взят в эксплуатацию с работы, где он долгое время не использовался. Но в планах купить ИБП киловата на 1,5 и АКБ на 100-150 Ah.

Так же с прошлого года там поселился стабилизатор напряжения на всю квартиру.
Большую часть года кондиционер в кладовке выключен и температура в ней колеблется в районе 20-25 градусов. Летом — около 28-30. Кондей я включаю только, когда серверу предстоит продолжительная вычислительная задача (чаще всего таковой является резервное копирование). К тяжёлым она относится из-за того, что все винты в этом импровизированном сервере «затрукрипчены».
Какой у вас проц? Современные интелы с аппаратным AES не сильно нагружаются «трукриптом» даже в программном рейде.

Трукрипт в кавычках, потому что в переносном смысле? Или вы действительно его на сервере используете? Зачем?
Там стоит AMD Athlon 64 X2 Dual Core Processor 5600+. Какой был под рукой — такой и стоит.

И на нём действительно используется TrueCrypt. Слово «затрукрипчено» я взял в кавычки, т.к. оно жаргонное. Использую шифрование даже на домашнем сервере, поскольку уже имел проблемы с правоохранительными органами. В том числе с изъятием техники. Отдельная история как так получилось, но такое было. Теперь дую на холодное. Этот случай включил у меня режим паранойи — теперь стараюсь шифровать всё и везде. Даже на всякий случай.
Я спрашивал не про осмысленность шифрования вообще, тут вопросов нет — у меня у самого зашифровано все по максимум. Я про выбор средства. У Вас винда что ли? Просто под серверные ОС существуют более подходящие средства шифрования.
Да, там винда. Знаю, что не рационально, но так исторически сложилось (сервер в таком виде работает уже не одну пару лет). А переделать всё руки не доходят. Ну и, чего греха таить, банально лень. Ведь свою задачу сервер и так выполняет.
Ну это как-то противоречит параное против правоохранительных органов, не находите?
Чем? Тем, что проприетарная ОС?
Да. Из чего следует, что там могут быть заглужки для тех самых органов, о которых Вы никогда не узнаете. Представляете как будет неприятно, когда весь Ваш трукрипт будет вскрыт просто потому, что ключи шифрования уже давно через дыры в ОС слиты куда следует?
В целом Вы всё верно говорите. Но если следовать этой логике до конца, то нужно вообще всё ПО писать собственноручно, чтобы исключить возможность закладки. Но никто же этого не делает. Да и сделать это не возможно в принципе.
Каждый сам для себя определяет допустимую грань паранойи.

А вообще, конечно, я с Вами согласен — желательно использовать СПО.
Как-то вы превратно поняли мою логику. Надо использовать открытое ПО, которое использует множество других людей. Тогда есть шанс об уязвимостях в нем узнавать не на собственном плачевном опыте.

А использовать шифрование на проприетарных ОС в качестве предохранения от органов — это оксюморон.
Смотря от чьих органов.
Не думаю, что даже по запросу, Microsoft Rus предоставит доступ к бэкдору в системе, который используются, например, эксклюзивно NSA.
Сделают честные глаза как у кота из Шрека и скажут «какой-такой бэкдор?». Вспомните пресс-конференцию со всеми мэйджорами в РФ после Сноудена.
Вот если бы там использовался битлокер — тогда, возможно, да.
Чувствую, что вступаю на зыбкую почву холивара, но «серверные ОС» — это Linux?
В современных реалиях, серверная ОС — скорее какой-нибудь гипервизор.
Поясните свою точку зрения, пожалуйста. Вы считаете, что места физическим серверам совсем не осталось? Даже в контексте данного поста?
Описанные в посте системы используют виртуализацию (указано явно, или подразумевается задачами). Мне кажется что шифровать диск внутри виртуалки неэффективно — полный снапшот действующей ВМ заведётся и продолжит работать, хотя диск внутри неё может быть и зашифрован.
Большинство гипервизоров — это Linux.
Как решали проблему с пылью?
По правде говоря, никак не решал.
Разве что пару раз в год влажная уборка горизонтальных поверхностей, если это можно назвать решением.
У меня домашняя серверная из большого десктопа для сборки, виртуализации и различных задач для видюхи и hp microserver'а для всех остальных задач. Все это обеспечивают интернетом два стомегабитных линка от разных провайдеров, подключенных через два (для надежности) микротика. Все естественно на упсах. Даунтайма не было давно. Только ради ребутов после обновления ядер.

А можно поподробнее, как у вас микротики настроены? OSPF между ними?
Нет. Микротики настроены коряво и костыльно. Но работают. Мне стыдно это на людях рассказывать. В сети есть куча доков как сделать правильно, просто я их поднимал, когда хотел освоить их ОС и не глядеть в примеры, и пока не дошли руки сделать правильно.
Ну вот, только хотел набраться идей, как правильно их всё-таки разрулить. А то свой второй роутер так и не настроил.
С доками в сети есть такая проблема, что трудно понять, правильный ли вариант описывается.
OSPF — это всё-таки правильный путь и идти надо туда?
На том же хабре вагон и маленькая тележка мануалов, как разрулить два провайдера на одном микроте. Если у вас два провайдера и два микротика — настройте между ними VRRP и резервируйте.
На одном микротике разрулить не проблема. Описано действительно много где.
VRRP, ок. Балансировать нагрузку по аплинкам как? Берём штатный пример балансировки нагрузки: wiki.mikrotik.com/wiki/VRRP-examples Классическое: пакет приходит с GW1 через R1, уходит на целевой сервер, а у того default gateway через R2. Разумеется, ответ будет уходить не на тот аплинк.
Я без особых проблем могу vlan'ами пробросить физические линки по обоим микротикам и скриптами по on-backup и on-master переключать, где именно включены WAN'ы. Но это правильный путь?
VRRP — это механизм резерирования, но не балансировки. Если вам нужно именно распределить нагрузку, то, вариантов в случае SOHO (т.е. без привлечения BGP) крайне мало — это различные изощрения с фаерволом. вплоть до round robin.
Меня как раз устраивает round robin (PCC сейчас и работает). Невозможность балансировать одно соединение и обрыв соединения при обрыве связи — это нормально. Не пугает потеря всей связи даже на десяток секунд на всякое переключение автоматики. Не требуется балансировка нагрузки на сами роутеры, один роутер в состоянии обработать весь мой трафик. Но как их правильно сделать два, чтобы отключение одного роутера было скомпенсировано вторым? (частично компенсировано, т.к. физически-то один из двух провайдерских кабелей подключен к отключившемуся роутеру)
При использовании VRRP пакет, пришедший на R1 уйдет в аплинк R1 и вернется в него же. Тоже самое и с R2. Так что тут все отрабатывает нормально. Со стороны сервера у вас будет один GW, который между собой будут делить R1 и R2.
Ммм, каким образом нормально?
vrrp basic
GW2 -> R2 -> SRV ок, попали на нужную машину.
Но ведь дальше ответ на запрос, по таблице маршрутизации SRV, пойдёт на default gateway — и поймает его именно R1, который в данный момент мастер. Как R1 транслирует пакет через GW2, подключённый к R2?
Со стороны клиента это выглядит так:
Client -> GW -> Internet.
При этом GW может оказаться как R1, так и R2 — зависит от «живости» роутеров и выставленных приоритетов. Соответственно в мир пакет уйдет с src-ip того роутера, кто в данный момент является главным. С возвращением проблем не будет.

А вот если вы хотите попадать из интернета на сервер по обоим ip через разные роутеры и разных провайдеров — то это либо шаманство на сервере с pbr, либо на роутере делать одновременно dst-nat и src-nat. Причем в src-nat подставлять не VRRP-IP, а «честный» адрес.

Ну еще можно настроить dyndns и скриптами подставлять текущий «живой» адрес
Тема всё-таки о серверах в домашних условиях. Так что, естественно, меня интересует путь из интернета внутрь. Наоборот действительно было бы просто.

При dst-nat и src-nat потеряем remote addr во всех логах, что совсем неинтересно.
Patrol Boat, River — кажется, я не туда попал. Для Policy based routing требуется настраивать каждую систему в сети. Хоть у меня всего с десяток виртуалок крутится, но неудобно же.
dyndns — теряю один входящий канал, хоть он и работает как исходящий, что уже лучше, но всё равно плохо.
Если уж скриптами и подпорками — то как выше описал завести на каждый из микротиков по одному физическому линку провайдера, а второй пробросить через vlan. Настроить каждый как независимый роутер с парой GW, затем банальный VRRP, который скриптами включает и выключает интерфейсы. На стенде собирал, но пахнет идея как-то странно.

Из того, что видел в мануале и пока не знаю, могут ли помочь — это OSPF или MPLS. Стоит углубляться или это инструменты для других задач?
Плюс (и минус одновременно) микротика в том, что очень многое можно допилить скриптами/руками и т.д. В итоге в одном случае можно получить довольно гибкую конструкцию, в другом — велосипед с квадратными колесами.
OSPF/MPLS — это не про вас.
Спасибо за консультацию.
Буду думать дальше…
Вы — это я. Тоже стоит RB2011 и Microserver. Провайдер, правда, один, ибо нет потребности в стопроцентно бесперебойных интернетах.
«В настоящее время проект содержит 15 серверов, емкость соединения которых составляет 60 Мбит/с ».
А можно тоже самое, только без online-переводчика?
И всё-таки сколько там серверов — 15 или 60? У вас в статье в двух абзацах, идущих практически один за другим, противоречивая информация.
Вообще-то там сказано, что к 2013 году дошло до 60. А настоящее время — 2014-й. Исключаете возможность продажи 45 серверов?
"… одни из первых начинают использовать новые серверные системы, тестируя их в экстремальных условиях.."

Ну это надо быть ну очень большим энтузиастом, ведь это и стоит не по-детски. Я думаю, довольно большая группа сервероголиков делает свои серверные по принципу «я тебя слепила из того что было». Бывает так, что сервера списываются, и когда в утиль отправляются вполне себе рабочие супермикры с деллами — их тащат домой. Либо слегка устаревшее железо или там запчасти можно найти за приемлемые деньги. Я одно время тоже фанател от этих железок, пока счёт за электричество вырос до неприличных размеров — теперь просто три маленьких NAS накопителя да слабенький сервер на Атоме.
Н-да, я с одним своим домашним микросервером, одним Wi-Fi роутером, одним PoE коммутатором кажусь себе крайне ограниченным в оборудовании :)
UFO just landed and posted this here
одно время пользовал как сервер ноут с неработающим монитором… проработал в качестве сервера года 3-4(torrent, proxy, vpn, file share, nat) вторая сетевая карта была подключена через usb, ребутал раза 4-5. Первый раз что бы обновить ядро под freebsd, т.к. у меня не хотел заводиться hp m1005, не помогло, переставил на centos, это собственно 2 ребут, максимальный аптайм был порядка 400 дней, было бы дольше но отключили электричество больше чем на сутки, ибп+акума ноута хватило часов на 10-14. это стало последней каплей из списка шум, моральное устарение ноута, спортивный интерес. как итог я перешел на роутер с ддврт
Увы, я уже лет пять не могу спать нормально, если не слышу звук пары крутящихся DDYSок (IBM DDYS — SCSI винты, первый блин комом на 10000 оборотов от IBM, характерный допустимой температурой 85*С и диким уровнем шума). Если оные не слышно — просыпаюсь постоянно, если слышно — хватает 5-6 часов сна.
UFO just landed and posted this here
Они мрут раз в три года, просто осыпаясь. Звук работы без нагрузки при этом не меняется, как выведу из эксплуатации — оставлю в сервере тупо сохранив подачу питания — ещё лет десять проживут =)
После осыпания звук будет уже не тот.
Вопрос с торрентами решил безвентиляторным компом на три харда, он же плеер под XBMC. Но сейчас задумался захостить кое-что у себя дома. Никак не пойму как в домашних условиях решается вопрос с внешними IP? У меня провайдер разрешает только один постоянный внешний IP на один договор. Вот собрался уже с мыслями под сервак подключить второй интернет-канал. А если серваков десяток-другой, то как быть? Может кто подскажет. Спасибо.
Поискать другого провайдера? Лично у меня таких заморочек нет — лишь бы платили :)
Если десяток другой — никак, заказывать адреса, просить провайдера, если 1 сервер и пара портов — решается роутером и прокидыванием портов.
Проксю на одном поднять, которая гоняет трафик на остальные 9. Тоже самое понадобилось сделать недавно, донастроил апач, он проксирует на другую машину запросы.
ipv6, правда печалит то, что на сегодняшний день он не сильно распространен
вообще у меня на 1м ИП 3 домена вертится — свой, друга и сейчас он попросил сестре виртуалочку для owncloud'а сделать.
Все это чудо разруливает nginx (https тоже).
Так что если нагрузка не большая, и сервисы не требуют строго отдельных ИП, то почему бы и не на 1м ИП?
В сухом остатке: NAT + nginx — наше все. =)

ЗЫ: мой пример — это мой пример. У вас могут быть иные требования…
У меня в двух квартирх 3 сервака, одна старая, хорошая машина Dell Precision 490 с ксеонами под виртуалки тестовые и всякие самосборные помойки-качалки
korphome.ru
Кстати аптайм у основного сервера вподне приличный для дома :)
Но вообще уже довольно давно хочется небольшую 19" стоечку на колёсиках и туда пару серваков и хранилочку, но всё упирается в отсутствие оборудования. Можно конео и на авито старого железа накупить, но мне как ITшнику интересно всё же работать со свежим железом, ибо от старого уже толку в плане «познаний» не так уж много.
Шкаф на колесах это круто, но как в него засунуть что-то типа SC5400 ителовского, ему метр глубины шкафа нужен =(
Ну можно не шкаф, а отрытую стойку — пусть зад торчит :)
Можно от 1 до N столиков, купленных в Икее по 349 целковых, объединить в LACKrack нужных габаритов (по длине и высоте).
Теперь я спокоен, что мои суммарные 52 xeon ядра, 228 гб ram и 1 tb ssd + 16 tb hdd рядом с рабочим столом это норма, шумновато конечно бывает, но на полную они работают 3-5 часов в неделю.
Это дома или в офисе?
Если не секрет, для каких задач это всё используется?
Дома.
Пишу распределенный софт для обработки больших текстовых массивов.
Бывает такая задача: приносят винчестеров на N-tb, нужно восстановить всю удаленную инфу, построить поисковый индекс по всему извлекаемому содержимому (в основном доки\хлс и outlook архивы с сотнями тысяч email ) и предоставить удаленный интерфейс для работы с этим.
Типичный сетап — python + zmq, mongodb\postgresql, elasticsearch, ну и всякие специфически вещи типа apache tika и т.п., в зависимости от формата данных.
У меня стойка на балконе стоит:
фото
image
У тебя солнечная сторона? если да. то как решил вопрос с диким нагревом от солнца?
и собственно отсутствие солнца в квартире не смущает?
Вечером солнечная, оборудование ест 5-6кВт, заведен отдельный кабель от щитка, кондей ставить уже не было возможности, поэтому пришлось проточку делать, в одном окне 4 вентилятора, во втором «фильтр» (материал для парников натянут), промывать приходится раз в месяц. Собирал это ровно год назад, за все время сдохло 2 вентилятора (от пыли) в блоках питания, после замены все продолжило работать. Пол года назад собрал умную розетку (и переделал подключение вентиляторов), чтобы вентиляторы отключать в зависимости от температуры.
Еще фото
imageimageimage

Это же только балкон без солнца, а рядом с балконом окно, поэтому с солнцем все хорошо.
Неотапливаемый, вентиляторы полностью выключаются, окно где фильтр полностью закрываю, и он сам себя обогревает.
я уткнул две супермикры мордами в пол на балконе. окно открыто, вентилятор большой дует наружу. пережило уже 2 года. снег и ливень просто не пробиваются через вентилятор.

а в качестве отопления пара майнеров с радеонами еще стоит. и датчики температуры и влажности рисуют в нагиосе синусоиды почти
Я насчитал 7 серверов. Под какие задачи такая стойка?
7 белых коробок — асики, майнят биткоины. В самом верху 1u сервер, на стойке еще NAS стоит.
И как успехи в деле биткоинов?
Во! Хочу так же! А у вас при этом рабочее пространство случайно не на балконе тоже?
Не, там очень шумно и ветрено, даже пришлось шумкой обклеить дверь.
У меня полная стойка в спалъне стоит. Это как-нибудъ лечится?
Покупкой дома/квартиры по-больше? Этим кстати многое очень лечится, но новое добавляется. :D
Выше есть комментарий. Автор выкупил тех помещение рядом с квартирой.
Если последний этаж можно, попробовать выкупить у собственников технический этаж (чердак). В новых домах это полноценный этаж и некоторые там делают продолжение квартиры. В нашем микрорайоне есть такие предложения на продажу с дисконтом 50%.
Нет, но надо будет задуматься о лечении собственного здоровья и психики, когда не сможете без её шума спать.
По-моему, не мочь спать без шума — глупость, а не мочь ничего сделать с шумом — лень. Сплю в берушах уже лет 15, все отлично. В те моменты, когда беруши надо менять, а я не купил их, или сплю не дома — не страдаю паранойей и сплю без них.
Спасибо, аж теплый ветерок подул) Как же хочется все бросить и вернутся к этому…
Ну не знаю, серверная дома — это уже обыденность. А вот кто из вас собираясь в путешествие в теплые края вместе с фотиком и видеокамерой берет маленький переносной сервер?
А как же!
Вот такой вот, например


Перепрошитый андройдный свисток — и WiFi «отельный» через него и торрент ночью докачал со свежей серией Strain, и всё такое.

Многие в наше время стали стервофилами на волне биткоиномайнии и сумели на своей шкуре прочувствовать все прелести поддержки ДЦ в собственном жилище. Беспрерывный гул вентиляторов, постоянно выходящих со строя, материящиеся домочадцы, спотыкающиеся о бесчисленные провода, сожженные розетки… эх, романтика, в нынешних асиках уже нет того шарма.
9,6 кВт/час  — с производной не напутали?
А у меня пока дело ограничивается бывшей рабочей станцией в роли сервака с трема хардами в пятом рейде. Как только появится возможность купить свою квартиру — буду думать про полноценный узел, с коммутационным шкафом как минимум. а лучше стойкой полноценной.
Даже если один порт под маршрутизатор и один под сервер, то 6 портов под домашнюю сеть это сильно.
У меня 12 по квартире разбросано. :-)
Не приемлете wifi? Или есть другие причины?
Как ни парадоксально, но две линии из них как раз занято Wi-Fi точками доступа. Квартира выходит на две стороны дома и при этом толстые кирпичные стены — одна точка не покрывает всю площадь квартиры.
Ну а вторая причина — я часто занимаюсь обработкой видео и приходится гонять туда-сюда десятки (а иногда и сотни) гигабайт — по Wi-Fi'ю это делать мучительно долго. Проще ноут кабелем втыкнуть в ближайшую розетку.
Ну и к точкам, где стоЯт телевизоры, подходит от 2-ух до 4-х линий.

Скоро уже в утюги будут встраивать поддержку сети — так что коль делал ремонт, то решил зарядиться по максимуму и предусмотреть максимальное количество вариантов.
WiFi иногда подводит очень сильно.
Да и ситуации, когда он просто исчезает никто не отменял.
Я купил к рождению ребёнка видеоняню, так одна камера просто наглухо глушила wifi на всех каналах.
Хорошо, что это у меня дома было, а если бы у соседей?
1. Моя машина
2. Машина жены
3. Принтер
4. Телевизор
5 и 6 пока не заняты, но один выведен на кухню (на случай если там будет плохой сигнал вайфая и нужна будет доп. точка доступа), один в район рабочего стола для запаса (например подключить ноут, если нужно что-то быстро слить с сервера).

Вай-фай на стационарных устройствах мне не нравится: скорость плавает, соединение отваливается, подвержен всяким внезапностям вида «сосед купил какую-нибудь китайскую херню, которая гадит в 2.4Ghz»). Благо на этапе ремонта была возможность раскидать витую пару.
У меня всё скромно
image
Сейчас добавился ещё один свитч под GPON точкой.
Заменён верхний блок питания на полноразмерный, в старом вздулись кондеры.
Этот ящик стоит в общем коридоре, а посему внутри квартиры ещё установлен DAS, подключенный через USB3.0
Sign up to leave a comment.