Буквально вчера такое выспрашивал у qwen. Все довольно подробно описала, с примерами для моего текста, предложила все автоматизировать для 1000 книг ).
Зайдите к ним в телеграм. Группа живая, в ней точно есть разработчики. Там уточните, может на сайте инфу не подправили и саппорт уже по другим адресам.
Ollama на бэкенде точно использует llama.cpp. Сам работаю с llama.cpp напрямую, у него тоже есть web интерфейс, сборку выполняю сам, но есть и бинари ( https://github.com/ggml-org/llama.cpp )
llama.cpp точно умеет работать с двумя видеокартами, но по скорости не прокомментирую. Думаю все норм будет с двумя 4060ti
Сам использую radeon 7900xtx (24Gb). Мне в эту карту влезают модели чуть большего размера (например DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf 26.9GB https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main). Что не влезает в память видеокарты - остается в системной RAM (просто нужно будет указать количество слоев загружаемых в видеокарту)
Отличный обзор. Стараюсь отслеживать эту тему, но узнал о многих моделях из вашей статьи. Но как же вы пропустили vicuna? По моим "ощущениям" сильно лучше чем alpaca. А раз у вас получается хорошо излагать знания в текстовом виде - есть такие проекты как "llama.cpp", "Auto-GPT". Возможно сможете рассказать о них и их скрещивании большой аудитории.
Буквально вчера такое выспрашивал у qwen. Все довольно подробно описала, с примерами для моего текста, предложила все автоматизировать для 1000 книг ).
А от статьи такой толку 0.
Зайдите к ним в телеграм. Группа живая, в ней точно есть разработчики. Там уточните, может на сайте инфу не подправили и саппорт уже по другим адресам.
Антены на вышках сотовой связи очень узконаправленны и вверх не светят.
В Китае начинается старение населения. Так что на пенсии будут сериалы смотреть.
Ollama на бэкенде точно использует llama.cpp. Сам работаю с llama.cpp напрямую, у него тоже есть web интерфейс, сборку выполняю сам, но есть и бинари ( https://github.com/ggml-org/llama.cpp )
llama.cpp точно умеет работать с двумя видеокартами, но по скорости не прокомментирую. Думаю все норм будет с двумя 4060ti
Сам использую radeon 7900xtx (24Gb). Мне в эту карту влезают модели чуть большего размера (например DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf 26.9GB https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main). Что не влезает в память видеокарты - остается в системной RAM (просто нужно будет указать количество слоев загружаемых в видеокарту)
Отличный обзор. Стараюсь отслеживать эту тему, но узнал о многих моделях из вашей статьи.
Но как же вы пропустили vicuna? По моим "ощущениям" сильно лучше чем alpaca.
А раз у вас получается хорошо излагать знания в текстовом виде - есть такие проекты как "llama.cpp", "Auto-GPT". Возможно сможете рассказать о них и их скрещивании большой аудитории.
В этом проекте много студентов. Отличная практика. Возможно со временем еще и польза от практики появится.