Комментарии 11
Глянул - спасибо, сеть выглядит очень неплохо, генерации радуют.
Если кому нужна упомянутая 32B сеть по API для Continue или чего-то еще - можете взять на моем сервисе (ссылка в профиле). Скорость по API около 25 токенов/секунду, вероятно, будет повыше чем на локальной машине - все-таки не у всех есть GPU с большим объемом памяти.
А кто-нибудь уже сделал плагины хотя бы для того же VS Code, чтобы подцеплять такие модели а-ля Copilot?
В конце поста ссылка на Continue. Как раз именно то. Для VS code он хорош. Единственный недочёт что я встретил: для автокомплита не учитывает ограничение на количество стоп токенов, из-за чего мой LLM провайдер ошибки возвращает, но до выхода Qwen2.5 я именно для tab completions использовал Qwen2 7B запускаемый локально, и проблема меня не трогала, сейчас грустно.
У них также есть плагин для JetBrains IDE. Там проблем с автокомплитом нет. Но лично у меня как-то криво работает. Не смотрит на DPI, из-за чего сильно мельче всего остального интерфейса, нет почему то кнопок акцепта всех изменений, только поблоково принимать, что боль если сетка рефачила файл на 100+ строк.
А вот и та самая "Synthetic data" использовавшаяся для обучения :)
Чето я совсем запутался... Какую версию модели лучше всего скачать для RTX4090 с 24 VRAM? Оперативка 64Гб.
Вышла Qwen2.5-Coder 32B. Открытая локальная модель для кода небольшого размера конкурирующая с GPT-4o