Pull to refresh
11
Иван Култышев@Liudar

User

Send message

Правильный подход: основные веса модели в Q8, K-кеш в FP16, V-кеш в FP16 или на крайний случай FP8. Тогда будет качество.

Хм... А через что запускаете? vLLM, llama? Можете пожалуйста поделиться параметрами запуска и выбор модели?

Вот вчера только начал дипсик харнес тыкать. Опенкод показал себя отвратительно, как и cline с continue. В сравнении с cursor прям оч плохо. Ну и модельки в основном qwen3.6-35b-a3b и qwen3.8-27b. но к сожалению только q4, больше в 3090 не влазит. Вот думаю, получится ли настроить на таком локальную работу. Много про это слышал, мол локальные за пояс и фронтиры затыкают. А сколько не проверял - фигня. Ясен пень, что я их еще и готовить нормально не умею. И сиатей годных фиг найдешь. Кстати, как идея тебе для статьи, с удовольствием почитал бы толковое про настройку локального харнеса и выбор моделей и их настроек))

А какой харнес и модель можешь посоветовать? Чем конкретно пользуешься, что хватает и сопоставимо с фронтирами?

Очень содержательно, спасибо!
Про Unhandled и Aggregate Exceptions стоило упомянуть, спасибо, что дополнили. Про управление задачами и контекстами — это касается всех многопоточных приложений, в статье же речь только о SDK, но тут тоже очень в тему. Про комплексную сборку тоже очень дельный совет.
Да, созданный мастером по изготовлению пианино и фортепиано Генри Стадли. Очень функциональный, подходящий как для грубых работ по дереву, так и тонкой настройки. Оригинал
да, но т.к. автор статьи удалил свой домен, и модуль letsencrypta у него не отработал, а сам я не дождался перевыпуска сертификата (время еще не пришло) — не хотелось писать о том, что вообще неизвестно.

А что можете про это рассказать? Есть опыт? Действительно автоматически перевыпускается без проблем?

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Date of birth
Registered
Activity