Обновить
0
0

Пользователь

Отправить сообщение

Качай Gpt-oss 20B F16.Она полностью лезет в 5070ti с контекстом 65К+ и скорость более 100ток\сек.

Попросите LLM правильно обновлять фильтры и тему.Не все работает.

Попробовал и cursor и постоянно использую серверные и локальные LLM.Скажу так,что чаще быстрее набрать самому.И спроектировать полностью приложение проще самому.Не спорю есть моменты когда проще LLM дёрнуть (написать KDOC, добавить тесты) .То есть для мелких несложных задач они подходят очень хорошо.Локальные LLM это как джун который всегда готов сделать несложную работу,но много ест ресурсов, особенно если рабочий комп слабый.

Если машина имеет хорошую видюху-на текущий момент oss-20b одна из лучших.Если видюхи нет-то тут либо qwen3 8b ,либо ещё более простую qwen3 4b.Такие модели способны предложить что-то адекватное,но часто приходится править руками.

Почему все прилипали к этому курсору.

Курсор создан на базе VC code ,так вот в VC code есть бесплатный плагин roo code,который позволяет запускать LLM через кучу провайдеров,в том числе и локальные.

Тестировал qwen3 code 30b и deepseek code v1 lite локально через Lmstudio в связке с roo code.Последняя версия Lmstudio может считать сколько памяти нужно для запуска.Даже на 3060ti 8g можно вполне запустить такие модели или аналогичные с 16B параметров,но критичен размер выделенного контекста.

Так же последние версии roo code могут делать промежуточный итог автоматом.

Qwen2.5+QWQ режим тоже неплох. Не такой популярный как DeepSeek, но для себя выделил как лучший ИИ на данный момент

Информация

В рейтинге
5 704-й
Зарегистрирован
Активность