Быстрое локальное развертывание DeepSeek

[Deslowter]

Как по мне, у этой локальной модели есть минус. Вот, к примеру, я развернул модель сугубо для подсказок в ИТ-деятельности, но часть обучения в ней занимают совершенно не используемые части. Она отвечает, знает огромное количество рецептов кулинарных или исторических событий, но на практике это совсем не нужно. Было бы куда практичнее иметь сугубо ИТ-модель, которая будет сильна только в этом, без траты ресурсов на что-то другое.
А для кулинарии или истории к примеру другие модели узкоспециальные.

[SlavikF]

Такие "IT-модели" есть:

https://ollama.com/library/qwen2.5-coder

А ещё, разработчики Ollama подложили всем свинью, назвав distilled модели - DeepSeek R1. А автор за ними это повторяет в статье.

deepseek-r1:14b - мало что общего имеет с настоящим DeepSeek R1. Это просто distill от Qwen модели.

Настоящий DeepSeek R1 - это 671b, который может быть в разных вариантах квантизации, но не бывает 14b, 32b, 70b ...

[AlexKarpachev]

Написано "Для начала рекомендую 1,5". Можете установить 70 )

DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b

Есть и

ollama run deepseek-r1:671b

Но куда Вам столько..

[Wesha]

XX век: идут дискуссии, как не дать ИИ «сбежать» из лаборатории.
XXI век: идут дискуссии, как лучше установить ИИ себе на компьютер.

[AlexKarpachev]

)) это просто новый софт.. некому там, пока, бежать.. А вот к чему привести может.. К примеру к распределительной нейронке, когда мощности наших компьютеров будут работать совместно на общие запросы..

[Graf_NameLess]

Хм, как блокчейн) А потом на этом сделают новый биткоин и начнутся новые скупки видях для майнинга через ИИ Х)

[AlexKarpachev]

Да, авна конечно подложили геймерам, да всем подложил! С таким кривым принципом "добычи ноликов и единиц", мирную энергию девать больше некуда ведь, во всем мире!))

[tkovacs]

Это все ни разу не сравнить с тем, что на официальном сайте в чате)

[Moog_Prodigy]

Я запустил deepseek через lmstudio. Моделька 137b (квантованный оригинал IQ1_S). На CPU, 32G RAM. Через mmap эмулирует недостающую оперативку с использованием nvme ssd. 700b моделька таким образом тоже будет работать. Износа ssd при таком использовании нет - все операции только на чтение, но желательно их параллелить для скорости.

Какой результат? Один токен в 7 секунд, это напоминает бокс по переписке. Впрочем это - не про общение с ней, а про возможность запуска. Кстати качество уже сильно напоминает оригинал. Различные автоматизации через api позволят ее использовать даже в таком режиме, если не требуется скорость.

[alex-khv]

Как же вы заманали с этими дистилятами.

[Ascard]

А кто-нибудь знает как её на oobabooga запустить?

[Moog_Prodigy]

На угабуге вы ее не запустите, но если вы хотите sillytavern , то там прикручивается что угодно через API.

[iximy]

Ставил локально r1:7B модель, тестировал под Q&A RAG, в довольно простых запросах модель щедро разбавляла русскоязычной текст, английским и китайским, та же llama3 справляется с русскоязычной генерацией намного лучше

[darkofficial]

А как добавить возможность работать с любыми файлами, а не только с картинками? обычно требуются таблицы и текстовые файлы

[DorianKon]

Почему никто сразу не пишет характеристики компьютера для этой всей фигни?

[GennPen]

Да потому что у всех llm ограничение одно, это количество (видео)памяти. Хочешь чтобы быстрей отвечал - ставь производительней (видео)процессор.

[Moog_Prodigy]

Нет. Скорость доступа к памяти. Память эта может быть разной - лежат в ОЗУ байтики или на харде. Работать будет и так и так. Все в эту скорость памяти и упирается. Проц важен, но вторичен.

[Mokoposhka44]

Подскажите как сделать работу модели с другого диска, в системном памяти маловато будет