Shannon Jun 17 at 23:58

Представлена открытая LLM модель для кода DeepSeek-Coder-V2 на 16B и 236B. Теоретический конкурент для Codestral 22B

1 min

9.4K

Artificial Intelligence

+12

Comments 11

TomskDiver Jun 18 at 06:28

Для запуска в качестве локального copilot, можно воспользоваться continue или codegpt

А еще 80Гб памяти и 8GPU как написано у разработчиков на гитхабе.

biGGer Jun 18 at 06:46

Там есть ещё лайт вариант который в 5 кванте с 12гб всё равно обгоняет Codestral. И полная модель MoE, по скорости инференса сопоставима с 22B моделями что делает возможным её запуск в оперативной памяти на 6/8 канальных сетапах.

sswwssww Jun 20 at 15:38

Откуда инфа что q5 версия обгоняет codestal?

biGGer Jun 20 at 15:54

Статью дополнили с таблицей, но когда я писал комментарий я смотрел на ai-can-code benchmark

Aphanas Jun 18 at 07:06

Модель, модель...
Модель чего??

Kristaller486 Jun 18 at 09:43

Языковая модель.

https://ru.wikipedia.org/wiki/Языковая_модель

rPman Jun 18 at 10:35

Все указанные .gguf ссылки не работают на llama.cpp (самое последней master, только что проверил), пишут что

llama.cpp unknown model architecture: 'deepseek2'

притом что штатный convert.py ее поддерживает, это значит квантизацией занимались под какую то другую версию llama.cpp

rPman Jun 18 at 11:11

ага, конвертировать можно но вот запустить нет, та же ошибка

rPman Jun 18 at 12:04

моя ошибка, llama.cpp изменили наименование бинарников на llama-main, llama-quantize а make clean старые не удалили, пересобирая из исходников новые бинарники не заменяли старые, а я по привычке старые main запускал.

NeiroNext Jun 18 at 14:47

Довольно интересно все это попробовать.

Отдельно спасибо за описание того, на чем это все можно локально запустить! Пробовал TabbyML, в качестве этакой замены copilot, сейчас бегло с телефона посмотрел Continue и он уже выглядит очень мощной и многофункциональной штукой. Если квантованная модель поместится в видеопамять, будет здорово иметь локального помощника в случае чего.

janvarev Jun 19 at 18:07

Если кому надо, сделал OpenAI API-совместимый доступ к большой модели (236B) у себя на сервисе. Можно к Continue подключить, например - плагин поддерживает сторонние OpenAI API сервера для моделей.