Ollama на бэкенде точно использует llama.cpp. Сам работаю с llama.cpp напрямую, у него тоже есть web интерфейс, сборку выполняю сам, но есть и бинари ( https://github.com/ggml-org/llama.cpp )
llama.cpp точно умеет работать с двумя видеокартами, но по скорости не прокомментирую. Думаю все норм будет с двумя 4060ti
Сам использую radeon 7900xtx (24Gb). Мне в эту карту влезают модели чуть большего размера (например DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf 26.9GB https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main). Что не влезает в память видеокарты - остается в системной RAM (просто нужно будет указать количество слоев загружаемых в видеокарту)
Отличный обзор. Стараюсь отслеживать эту тему, но узнал о многих моделях из вашей статьи. Но как же вы пропустили vicuna? По моим "ощущениям" сильно лучше чем alpaca. А раз у вас получается хорошо излагать знания в текстовом виде - есть такие проекты как "llama.cpp", "Auto-GPT". Возможно сможете рассказать о них и их скрещивании большой аудитории.
Ollama на бэкенде точно использует llama.cpp. Сам работаю с llama.cpp напрямую, у него тоже есть web интерфейс, сборку выполняю сам, но есть и бинари ( https://github.com/ggml-org/llama.cpp )
llama.cpp точно умеет работать с двумя видеокартами, но по скорости не прокомментирую. Думаю все норм будет с двумя 4060ti
Сам использую radeon 7900xtx (24Gb). Мне в эту карту влезают модели чуть большего размера (например DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf 26.9GB https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main). Что не влезает в память видеокарты - остается в системной RAM (просто нужно будет указать количество слоев загружаемых в видеокарту)
Отличный обзор. Стараюсь отслеживать эту тему, но узнал о многих моделях из вашей статьи.
Но как же вы пропустили vicuna? По моим "ощущениям" сильно лучше чем alpaca.
А раз у вас получается хорошо излагать знания в текстовом виде - есть такие проекты как "llama.cpp", "Auto-GPT". Возможно сможете рассказать о них и их скрещивании большой аудитории.
В этом проекте много студентов. Отличная практика. Возможно со временем еще и польза от практики появится.