OVMS это официальная вундервафля от Intel, openarc это самостоятельный, вроде бы даже учебный продукт, от автора, который умеет только часть от OVMS, насколько я понял, спасибо за ссылку. Там ссылки на модели есть на странице продукта, это полезно, спасибо. Сам же проект я использовать не стану при наличии официального и более мощного аналога от производителя. Да и модели я бы сам конвертировал на всякий параноидальный случай :)
Тут можно посмотреть производительность на конкрртных нейронках. Сравнивать надо не просто cpu vs gpu, а openvino+cpu/gpu vs llama.cpp+cpu и другие бэкенды, например.
На cpu крутятся сервисы, gpu пустой, плюс нагрев проца понижение, а значит вентилятор не шумит. Что до бенчмарка, то там от размера батча зависит и тюнить все надо, настроек вагон, нельзя сказать сходу, нужно описывать, что за модель, размер батча и тп.
Я не люблю ковырять в ста местах, потому схема такая :) Да, в целом все то же самое можно сделать без openwrt. Использовать opnsense как шлюз, просто у меня опенврт уже есть.
То есть после настройки OpenWRT как в статье и Proxmox, все к чему будет сводиться "докрутить что то еще" это сделать виртуалку или контейнер на Proxmox в изолированной сети services и навертеть, что душе угодно на OPNSense.
DNS DHCP и еще море всего есть прямо в OppenWRT, точно так же это все есть в OPNSense и еще вагон всего разного. OPNSense в целом хорош тем, что там есть буквально все готовое, море всего. Причем в данной схеме именно поэтому он узловой шлюз для внутренних сервисов, на нем можно навертеть что угодно в такой схеме и все остальные части инфраструктуры больше никогда не трогать и не усложнять.
И без vps тут точно не обойтись, есть варианты более сложные, но вам в любом случае нужен "представитель в интернете" с постоянным адресом, от имени которого вы будете выходить в интернет.
У домашнего сервера в этой схеме нет постоянного IP адреса, это просто домашний интернет, в этом суть схемы. То, что адрес вашего домашнего роутера будет спрятан, это да, но он динамический, так что может со временем изменяться, а конструкция будет работать при этом. И да, спрятать домашний адрес было одной из целей.
По первому вашему коментарию я добавил в статью задачу со звездочкой, спасибо.
С xray это просто пример, в целом его можно наружу поставить на vps, если например для игр пинг надо быстрый. У xray кажется есть функции реаерс прокси, так что он сможет вероятно быть фронтом. У данной конструкции задача не в этом, надо много сервисов удобно дома держать, с минимальной настройкой для последующих.
Цепочка же такая. Запрос клиента->Vps->wireguard до opensense дома->xray server->запрос до целевого ресурса->opensense->wireguard до vps (он в схеме один)->запрос ресурса от vps->ответ ресурса к vps->wireguard до opensense->xray server->opnsense->wireguard до vps->ответ клиенту.
Эта схема с тремя обертками дает заметное снижение пинга, но для меня очень удобна и видосы в ютубе это смотреть никак не мешает :) При этом сервис добавить это на caddy закинуть реверс и поднять контейнер и все.
Но все равно работаю с ней так, сначала прошу заготовку напилить, а потом переписываю и использую ее только как автодолполнение. В таком режиме без повторных промптов, норм.
Обсидиан конечно позволяет все это делать, но для всех этих вещей есть специализированные инструменты, в которых все делать легко и не надо тратить время на "колупания". Так что это очень на любителя. Сами же просто заметки ничего так, сам пользуюсь, досыпать syncthing для их синхронизации на всех устройствах и юзабельно, только плагины грузит очень долго, что раздражает.
Давно перешел на чатгпт. Больше не использую гугл и стекоаерфло, за редким исключением когда нейронка глючит и надо проверять. Контакт с лбдьми на форумах сопряжен с непрерывным потоком мудаков, которым срочно надо выпендриться, это вообще имба у нейронок, спокойно и вежливо ответить именно на то, что спрошено. Лбди в общении проигрывают по всем фронтам.
Обновил недавно 3.5 до 4.5.2 при этом перенес на другой сервер. Пять команд, ноль проблем. Скука.
OVMS это официальная вундервафля от Intel, openarc это самостоятельный, вроде бы даже учебный продукт, от автора, который умеет только часть от OVMS, насколько я понял, спасибо за ссылку. Там ссылки на модели есть на странице продукта, это полезно, спасибо. Сам же проект я использовать не стану при наличии официального и более мощного аналога от производителя. Да и модели я бы сам конвертировал на всякий параноидальный случай :)
Но спасибо за инфу, любопытно.
Хотя, убрал. В пылу писания пролетает разное. Грамотей из меня конечно.
Да лень мне минус жать чаще всего. Не читай.
https://www.intel.cn/content/dam/develop/public/us/en/documents/openvino-toolkit-llms-solution-white-paper.pdf
Тут можно посмотреть производительность на конкрртных нейронках. Сравнивать надо не просто cpu vs gpu, а openvino+cpu/gpu vs llama.cpp+cpu и другие бэкенды, например.
Да, и это пока что без гетерогенного запуска в смеси из cpu/npu/gpu. В общем много факторов, на отдельную статью хватит.
На cpu крутятся сервисы, gpu пустой, плюс нагрев проца понижение, а значит вентилятор не шумит. Что до бенчмарка, то там от размера батча зависит и тюнить все надо, настроек вагон, нельзя сказать сходу, нужно описывать, что за модель, размер батча и тп.
Я не люблю ковырять в ста местах, потому схема такая :) Да, в целом все то же самое можно сделать без openwrt. Использовать opnsense как шлюз, просто у меня опенврт уже есть.
То есть после настройки OpenWRT как в статье и Proxmox, все к чему будет сводиться "докрутить что то еще" это сделать виртуалку или контейнер на Proxmox в изолированной сети services и навертеть, что душе угодно на OPNSense.
DNS DHCP и еще море всего есть прямо в OppenWRT, точно так же это все есть в OPNSense и еще вагон всего разного. OPNSense в целом хорош тем, что там есть буквально все готовое, море всего. Причем в данной схеме именно поэтому он узловой шлюз для внутренних сервисов, на нем можно навертеть что угодно в такой схеме и все остальные части инфраструктуры больше никогда не трогать и не усложнять.
Думаю клаудфлару скоро начнут давить, но да, этот вариант даже в xray клиенты встроен, Warp их
И без vps тут точно не обойтись, есть варианты более сложные, но вам в любом случае нужен "представитель в интернете" с постоянным адресом, от имени которого вы будете выходить в интернет.
У домашнего сервера в этой схеме нет постоянного IP адреса, это просто домашний интернет, в этом суть схемы. То, что адрес вашего домашнего роутера будет спрятан, это да, но он динамический, так что может со временем изменяться, а конструкция будет работать при этом. И да, спрятать домашний адрес было одной из целей.
По первому вашему коментарию я добавил в статью задачу со звездочкой, спасибо.
С xray это просто пример, в целом его можно наружу поставить на vps, если например для игр пинг надо быстрый. У xray кажется есть функции реаерс прокси, так что он сможет вероятно быть фронтом. У данной конструкции задача не в этом, надо много сервисов удобно дома держать, с минимальной настройкой для последующих.
Цепочка же такая. Запрос клиента->Vps->wireguard до opensense дома->xray server->запрос до целевого ресурса->opensense->wireguard до vps (он в схеме один)->запрос ресурса от vps->ответ ресурса к vps->wireguard до opensense->xray server->opnsense->wireguard до vps->ответ клиенту.
Эта схема с тремя обертками дает заметное снижение пинга, но для меня очень удобна и видосы в ютубе это смотреть никак не мешает :) При этом сервис добавить это на caddy закинуть реверс и поднять контейнер и все.
Жаль репу не склонил просто, приложил бы к публикации или просто где выложил. Любопытно.
Молодец!
Я в итоге написал MCP сервер свой что бы ей правила напоминать и код искать в проекте, очень помогает.
https://github.com/3DRaven/semantrix
Но все равно работаю с ней так, сначала прошу заготовку напилить, а потом переписываю и использую ее только как автодолполнение. В таком режиме без повторных промптов, норм.
Обсидиан конечно позволяет все это делать, но для всех этих вещей есть специализированные инструменты, в которых все делать легко и не надо тратить время на "колупания". Так что это очень на любителя. Сами же просто заметки ничего так, сам пользуюсь, досыпать syncthing для их синхронизации на всех устройствах и юзабельно, только плагины грузит очень долго, что раздражает.
Давно перешел на чатгпт. Больше не использую гугл и стекоаерфло, за редким исключением когда нейронка глючит и надо проверять. Контакт с лбдьми на форумах сопряжен с непрерывным потоком мудаков, которым срочно надо выпендриться, это вообще имба у нейронок, спокойно и вежливо ответить именно на то, что спрошено. Лбди в общении проигрывают по всем фронтам.
Опенсорса на всех хватит. Чатгопота+пенсионер = великая сила созидания даже в одну харю, а их будет все больше :)