Comments 15
Хотелось бы уже, чтобы и свои ИИ ядра были. Поэтому у меня мини-пк с ИИ ядрами и 64гб, чтобы размещать мини llm. Миник без нижней крышки установлен на 14 см кулер с питанием от его же usb. Тишина и холод на максималках.
Если для инференса, то есть корал
Не могли бы чуть подробнее что за пк?
Спасибо за идею с Cloudflare, даже не думал об этом. Все тоже самое, но на NanoPi R76S и вместо гитлаба - forgejo, один бинарник и никаких руби зависимостей. + pihole для роутера, miniflux для rss, и synchting для важных файлов локально, типа базы паролей для keepassxc. А для бекапа у меня микросд + внешний ssd, что-нибудь да останется, если вдруг платка накроется. Кстати взял её в алюминиевом корпусе, чтобы не грелась особо. Пока за пару месяцев полёт отличный.
спасибо за статью - для демок самое то. Если нужен GPU, то можно мелкий комп вроде minisforum + oculink использовать - у меня такая конфигурация нормально работает с docker+nvidia cuda - когда не используется карта, вентиляторы на ней не крутятся, шума нет, а при использовании охлаждение отличное (она открыта, на воздухе).
Сервер лучше всего делать бесшумным, если дома использовать с небольшой нагрузкой, чтобы вообще ничего не жужжало - лежит маломощный бесшумный мини комп с пассивным охлаждением N100, с питанием 12В (роутер как бы) - на нем попробую вашу конфигурацию. Использовал его для gitlab, репозитория maven + docker и прочего для локальной разработки.
Как совсем мини компактный вариант, можно еще NanoPi R5C Rockchip попробовать - от USB 2A работает, для него есть Ubuntu, но могут быть проблемы с пакетами и тд, не самый популярный cpu.
Главная проблема домашнего хостинга - белый ip. Провайдер просил за статику лишние деньги, а я встал на путь принципиальной экономии.
Вы путаете public/private IP и механизм его выдачи. Это вообще разные понятия и технологии. Вы можете иметь публичный IP, который назначается динамически или приватный IP, назначаемый ISP статически. Если у вас есть публичный IP, то вы можете принимать входящие сосединения. DynDNS решений сейчас просто море.
DynDNS - решение из нулевых, которое работает криво.
Непонято в чем его кривизна? В том что оно из нулевых? Так DNS сам по себе вообще из 70-x. Прошлого века. Как и Интернет.
Хотя решение с CF tunnel красивое! И с traefik тоже красиво получилось.
Посдскажите пожалуйста, а умеет traefik также управлять внешними роутами, не внутри одного контейнера (включая certificate management)?
К CloudFlare в РФ разве вот-вот не прикроют?
Главная проблема домашнего хостинга - белый ip. Провайдер просил за статику лишние деньги, а я встал на путь принципиальной экономии. DynDNS - решение из нулевых, которое работает криво
DynDNS прекрасно работает, а проблему с белым ip можно решить с помощью ipv6. Если ваш провайдер поддерживает ipv6, то скорее всего, он отдаёт маршрутизируемую /64 подсеть, которая никогда не меняется. Соответственно и адрес вашего сервера в этой подсети никогда не меняется. Дальше, он подцепляется к ip6 dyndns и вот вы уже счастливый "владелец" бесплатного домена третьего уровня.
Я пошел другим путем - Cloudflare Tunnel.
Спасибо за идею, не знал про это.
Пожалуйста расскажите как вы настроили днс.
сервис cloudflared. Ему нужен только токен, который вы получаете в админке CF при создании туннеля
хотелось бы как то пару скриншотиков и вообще понять об чем речь и по какому типу туннеля там трафик
стиль подачи если честно не очень доставил. вроде как весь из себя такой умный инженер, но использую для сервера полудохлый ssd и wifi :) :) :)
Снаружи торчит только 443 порт клаудфлера.
443 порт и ssl сертификаты тут не нужны. Cloudflare шифрует трафик до своего края, а внутри туннеля он уже летит в защищенном виде. raefik просто слушает 80 порт внутри докер-сети.
Traefik в качестве прокси. Он сам получает сертификаты,
Все просто, логично, никаких противоречий
Хватит кормить облака: переезд пет-проектов на старый ThinkPad с разбитым экраном