Представлена открытая LLM модель для кода DeepSeek-Coder-V2 на 16B и 236B. Теоретический конкурент для Codestral 22B

[TomskDiver]

Для запуска в качестве локального copilot, можно воспользоваться continue или codegpt

А еще 80Гб памяти и 8GPU как написано у разработчиков на гитхабе.

[biGGer]

Там есть ещё лайт вариант который в 5 кванте с 12гб всё равно обгоняет Codestral. И полная модель MoE, по скорости инференса сопоставима с 22B моделями что делает возможным её запуск в оперативной памяти на 6/8 канальных сетапах.

[sswwssww]

Откуда инфа что q5 версия обгоняет codestal?

[biGGer]

Статью дополнили с таблицей, но когда я писал комментарий я смотрел на ai-can-code benchmark

[Aphanas]

Модель, модель...
Модель чего??

[Kristaller486]

Языковая модель.

https://ru.wikipedia.org/wiki/Языковая_модель

[rPman]

Все указанные .gguf ссылки не работают на llama.cpp (самое последней master, только что проверил), пишут что

llama.cpp unknown model architecture: 'deepseek2'

притом что штатный convert.py ее поддерживает, это значит квантизацией занимались под какую то другую версию llama.cpp

[rPman]

ага, конвертировать можно но вот запустить нет, та же ошибка

[rPman]

моя ошибка, llama.cpp изменили наименование бинарников на llama-main, llama-quantize а make clean старые не удалили, пересобирая из исходников новые бинарники не заменяли старые, а я по привычке старые main запускал.

[NeiroNext]

Довольно интересно все это попробовать.

Отдельно спасибо за описание того, на чем это все можно локально запустить! Пробовал TabbyML, в качестве этакой замены copilot, сейчас бегло с телефона посмотрел Continue и он уже выглядит очень мощной и многофункциональной штукой. Если квантованная модель поместится в видеопамять, будет здорово иметь локального помощника в случае чего.

[janvarev]

Если кому надо, сделал OpenAI API-совместимый доступ к большой модели (236B) у себя на сервисе. Можно к Continue подключить, например - плагин поддерживает сторонние OpenAI API сервера для моделей.