Комментарии 31
Спасибо за статью, интересная машинка.
А вот с kubernetes не все так однозначно. Для отказоустойчивости вам понадобится третья машина, в ином случае невозможно будет однозначно определить, это машинка сломалась или просто сеть между ними порвалась. Типовая ситуация split-brain.
Да спасибо. Я уже заказал nanopi r5s в качестве мастер ноды
Дополню про кубера. Система хоть и отличная, но для хотя-бы средних размеров кластера, мини пк, всё таки для этих целей не подойдут, нет конечно он запустится, но съест львиную долю ресурсов. Имхо микро компьютеры дома скорее для иных задач, умный дом, файл шара, какой-то кастомные сервер. А тот же гитлабе и иже с ними лучше на арендный сервер переносить...
k3s отжирает не так много на самом деле, можно накидать ещё десяток микро компьютеров и будет вполне сносный кластер (не только для домашних целей).
нет конечно он запустится, но съест львиную долю ресурсов
Если k8s использовать как продвинутый Portainer, то ничего он практически не жрет. etcd сам по себе легкий, данных в нем в таком маленьком кластере мало, контейнеры будут редко перезапускаться - значит и api вызовов будет не так уж и много. Это если кластер обвешать всякими istio да мониторингами... Но так это и будет нагрузка от этих приложений, а не от k8s как такового, опять же.
IMHO, что k8s что Portainer на такой железке избыточно - достаточно простого Docker ну, или на край, Docker Compose. Что в домашнем облаке привносит k8s/Portainer , без чего нельзя обойтись?
Что в домашнем облаке привносит k8s/Portainer, без чего нельзя обойтись?
Веб-панель для докера?
ммм. И зачем? так ли уж часто надо лазить в веб-панель докера?
Вот есть у меня веб-панель от Synology NAS для Docker, так я её вижу от силы раз в полгода, если не реже. В основном или через консоль что-то пнуть, или через Ansible скрипт, если подконфигурить docker контейнер надо.
А настраивать через веб-панель докеры - это потом не знать какие команды/аргументы через консоль для докера надо дёргать
ЗЫ: кстати, кажется только Portainer конфигурируется через мордочку - для k8s вроде тоже предпочитают консоль использовать и различные скриптования. Хотя могу ошибаться и Portainer можно и через консоль конфигурить... но в моём окружении пока не видел таких "рукастых" немышоидов
рестарт сдохших подов?
Но мне кажется, Docker Swarm эффективнее.
прописанный HEALTHCHECK внутри Dockerfile + https://github.com/willfarrell/docker-autoheal и не надо swarm.
Так же, как и для обновления образов до последних версий (кто тег latest пользует или "сокращённую" версию тега) - Watchtower
С этой позиции контейнеры вообще дома не нужны. Дома на то и дома, что собираешь как хочешь. Я много работаю с k8s, и мне удобнее запустить k3s на таком сервачке, чтобы было привычно и удобно. Ты вот ниже пишешь, что тебе удобнее через Ansible - ну вот, оно же - излишнее для одной машины, но тебе удобнее вот так.
Не всё так плохо со split brain, двух нод может хватить если добавить простую логику - проверять связь через все доступные каналы включая внешние (активная проверка) и наличие внешних соединений, к тому же можно добавить ещё один альтернативный внутренний канал - например через USB или serial.
Я использовал этот принцип для построения HA-рутеров (ровно две машинки) - всё отлично работало - если один не видел соседа (через serial, прямое соединение ethernet и через внутреннюю и внешнюю сети), а также не видел клиентов или аплинков - он автоматом деактивировался и ждал восстановления связи. При отсутствии соседа тот кто видел и клиентов и аплинки оставался (или становился) мастером - при такой кофигурации split brain практически невозможен пока жив хоть один канал связи.
Можно также пассивно мониторить ARP запросы и если для VIP их становится слишком много в единицу времени - использовать это как индикатор того что текущий мастер действительно умер или потерял связь (можно убедиться своим ARP запросом), ибо если мы их видим то скорее всего клиенты нас тоже видят, а вот соседа - нет.
Да, вероятно это не закроет все возможные сценарии, но в случае даже пяти нод тоже может оборваться только внутренняя связь между всеми (например если у них свой собственный коммутатор для внутренней сети) - и мы снова приходим к тому что нужен мониторинг через другую сетку, причем крайне желательно через ту же откуда ходят клиенты.
Для таких машинок есть k3s - кубер для бедных.
С компиляцией поосторожнее, а то ещё расплавится апелельсинка)
А какой клиент вы использовали для minio (s3)?
не могли бы подробнее раскрыть тему блока питания, а также каким образом подключили nvme?
Про блок питания, я использовал YC-CDA30, в документах указано 5V/4A, пробовал нагрузить насколько возможно на короткое время, у меня доходило до 5V/3.7A.
Про nvme я пока жду доставки, по идее подключиться должен напрямую есть вход сзади M.2 M-KEY 2242. Протестирую и отпишусь.
просто с питанием одноплатников лично у меня было много проблем. Брал кубики которые вроде неплохо тянули, и по параметрам были с запасом, но в логах находил потом какашки про напряжение ну и в целом были проблемы. Как я понимаю дело в том что не каждый блочок может мгновенно выдать запрашиваемый ток. Но то было с распберри (фирменный кубик решил все проблемы)
Из практических соображений можно просто купить 2 неттопа-Мини ПК
Проц. Intel Celeron N5095 4M Cache, up to 2.90 GHz
Max Memory Size (dependent on memory type) 16 GB
Memory Types DDR4 LPDDR4x
Maximum Memory Speed 2933 MHz
Базовая конфигурация такого чуда стоит от 10 тыс.
Для примера:
Mini PC Beelink Mini S Windows 11 Intel 11 Gen Jasper Lake N5095 8G SSD128G
Корпус: Вес товара, г 700 c БП Размеры,мм: 210x135x65
Забэкапить диск без активации Windows. И ставить любую ОС
proxmox же )
Не совсем понял причем здесь Proxmox?
Intel Celeron Processor N5095 виртуализацию поддерживает:
Intel® Virtualization Technology (VT-x) Yes
Intel® Virtualization Technology for Directed I/O (VT-d) Yes
Intel® VT-x with Extended Page Tables (EPT) Yes
Можно Развернуть на 3-х коробочках 3 ноды ProxmoxVe и будет High Availability Cluster или другой гипервизор на Linux и Windows.
Материнка на Beelink Mini S с одним слотом под память.
Покупать 16гб DDR4 SODIMM(от 2.5 тыс) на 2 или 3 коробочки жаба душит.
Но есть возможность добавления 2,5-дюймового диска SATA в крышку,
которая подключается к материнской плате через короткий ZIF-кабель.
Был хороший обзор на cnx-software.
Я просто купил БУ ноутбук c i5-1135G7 и разбитым экраном (не показывает правая четверть) за $150. Тут ниже привели сравнение в бенчмарках, добавил и этот процессор. Быстрее других приведённых тут на 60-100+%.
Правда, памяти 8 гигабайт и не расширяется, но мне для моих задач достаточно.
Одноплатные компьютеры - это круто, но по цене в $30 долларов. А когда за такие же деньги можно купить полноценное устройство - непонятно, в чём их смысл.
Пользуюсь Orange pi zero 1 и Orange pi zero 2, причем zero 1 еще с момента выпуска, лет 5 уже, может больше, отказов не было, совсем.
Коротко по конфигам:
Zero 1: microsd 128gb samsung, 1xUsb 256gb samsung, (docker, emby, gogs, samba, httpd, +тестовые образы переодичесски)
Zero2: microsd 64 samsung, 2xUsb 256gb не помню чьи, в рейде через mdadm, на ней докер забит кучей тестовых образов и vm, + через проьлос порта доступ к 1 vm из вне.
Passmark утверждает, что проц на уровне core i7 первого поколения
Вы не делали каких-то бенчмарков?
А еще arm-ы можно для кворума использовать с ceph.
https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_corosync_external_vote_support
https://forum.proxmox.com/threads/cluster-mit-3-quorum-node-raspberry-3b-aufbauen.66699/
Для кода поставил себе gogs, как gitlab только легче.
P.s. у меня orange pi zero 1 и zero 2
Удалось еще ченить интересное позапускать? у нее же еще GPU есть, както использовали?
Домашнее облачко или что можно сделать с Orange Pi 5 (Часть 1)