Вероятно многие параноики запускают это на mac mini или каком-то другом мощном желеле, чтобы использовать локально развернутую LLM (ну там через llama.cpp, ollama, koboldcpp и прочие), чтобы вообще данные наружу не отправлялись? Вот тут и прогодится железо уровня топового mac mini, чтобы запустить какую-нибудь 70B q4 модель локально. Конечно, локальный сетап и близко не то же самое что передовые сервисы по подписке, разница огромна. Но кто-то всё же не хочет отправлять свои данные.
Спасибо за идеи. Сейчас gitea использую, но тоже перейду на Gogs, т.к. в реальности Gitea намного больше нагружает CPU. Под полночь вижу gitea нагружает на 100% все восемь потоков в простое на почти пустом репо.
Запустил, работает, удобно, спасибо!
Вероятно многие параноики запускают это на mac mini или каком-то другом мощном желеле, чтобы использовать локально развернутую LLM (ну там через llama.cpp, ollama, koboldcpp и прочие), чтобы вообще данные наружу не отправлялись? Вот тут и прогодится железо уровня топового mac mini, чтобы запустить какую-нибудь 70B q4 модель локально. Конечно, локальный сетап и близко не то же самое что передовые сервисы по подписке, разница огромна. Но кто-то всё же не хочет отправлять свои данные.
Спасибо за идеи. Сейчас gitea использую, но тоже перейду на Gogs, т.к. в реальности Gitea намного больше нагружает CPU. Под полночь вижу gitea нагружает на 100% все восемь потоков в простое на почти пустом репо.