Comments 11
Скачал LM Studio, в ней скачал последнюю gemini, а она не хочет отвечать на мои не удобные вопросы, говорит нельзя так делать, обратитесь лучше в службы помощи по номерам телефонов начинающихся с +1-.......
Я для эксперимента на сервере развернул малютку - https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct. А так AnythingLLM поддерживает еще и https://ollama.com/ но у меня сервер без GPU поэтому я использую CPU only модели
Скажите пожалуйста, а модели будут иметь доступ к "интернету"?
Доступ извне можно реализовать открыв порт 8080, localai поддерживает так же защиту при помощи токена.
А если заставить саму модель ходить в интернет, то я не уверен, так как на сколько я понимаю та чуть поупражняться надо. https://www.reddit.com/r/LocalLLaMA/comments/18yv28m/dumb_question_perhaps_how_do_i_enable_internet/
Для питона есть либа LangChain, которая, помимо прочего, может предоставить любой модели доступ к поисковой выдаче.
Может быть полезным https://llm.datasette.io/en/stable/
Большое количество моделей, простой способ установки, хранения ключей и пользование прямо из консоли с запуском модели на каждый чих или поднятьия для множества промтов... И это лишь часть интересной тулы
Стоит ещё дополнить про google colab, который позволит запускать на GPU модельки погонять какое-то время. (~1-2 часа в сутки).
Это уже не совсем локально, но тем не менее полезно в миксе с ollama, например.
ollama+open-webui отличная связка чтоб создать свой личный аналог локального chatgpt web интерфеса
Простой способ развернуть локальный LLM