Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 16
Огромное спасибо за статью!столько полезной информации!спасибо, что делитесь и экономите нам время!
Чувак, а вот без этих максов/телеграмов никак? На тот же гитхаб кинуть ссылку с подборкой.
Большинство из списка были актуальны 3 - 5 итераций назад. Сейчас фронтиры справляются без скиллов. И не факт, что то, что работало в прошлом, не сделает хуже сегодня.
А зачем нам фронтиры если правильно приготовленные локальные модели в харнессе решают те же ежедневные задачи с практически тем же качеством?
Этот список хорош чтобы натравить на него своего карасика чтобы он сам проанализировал и взял то что нужно под специфику чего еще нет.
Правильно настроенный харнесс сам пишет себе скилы по кодовой базе, но есть моменты в списке, которые он не учитывает.
зачем нам фронтиры
Два аспекта:
1) 9 женщин не родят ребенка за месяц
2) локальное железо не успеет окупиться до того, как устареет
Это не аспекты а устаревшие мифы.
1) 9 женщин не родят ребенка за месяц
Скорость 20-40 токенов в секунду вполне достаточная для ежедневной работы
2) локальное железо не успеет окупиться до того, как устареет
Современные локальные модели спокойно запускают карты 5 летней давности. Если вы за такое время не смогли окупить ее, то, наверное, не стоило и начинать.
А какой харнес и модель можешь посоветовать? Чем конкретно пользуешься, что хватает и сопоставимо с фронтирами?
Сейчас использую deepseek-harness со плагинами, которые он сам написал под мои задачи.
Модели использую в основном свои (назвал семейство karasique), дообученные на базе открытых моделей опять же под себя, в моих задачах показывают себя между Opus 4.6 и 4.8. В узком спектре уделывают Fable 5. При этом из-за дообучения у них вымываются часть общих знаний, которые мне не нужны для работы.
Из общедоступных моделей общего назначения использую Qwen3.8-27B Q8 (40-50 t/s) и Ornith-1.0-35B Q8 (50-60 t/s), рекомендую их. Обе модели довольно хороши в ежедневном использовании.
Qwen медленнее, на уровне или выше Opus 4.6, Ornith быстрее, но менее точный, чуть хуже Opus 4.6.
Вот вчера только начал дипсик харнес тыкать. Опенкод показал себя отвратительно, как и cline с continue. В сравнении с cursor прям оч плохо. Ну и модельки в основном qwen3.6-35b-a3b и qwen3.8-27b. но к сожалению только q4, больше в 3090 не влазит. Вот думаю, получится ли настроить на таком локальную работу. Много про это слышал, мол локальные за пояс и фронтиры затыкают. А сколько не проверял - фигня. Ясен пень, что я их еще и готовить нормально не умею. И сиатей годных фиг найдешь. Кстати, как идея тебе для статьи, с удовольствием почитал бы толковое про настройку локального харнеса и выбор моделей и их настроек))
А сколько не проверял - фигня.
Потому что вы проверяете их на Q4. Правильный подход: основные веса модели в Q8, K-кеш в FP16, V-кеш в FP16 или на крайний случай FP8. Тогда будет качество.
И сиатей годных фиг найдешь. Кстати, как идея тебе для статьи, с удовольствием почитал бы толковое про настройку локального харнеса и выбор моделей и их настроек))
Статей и видео по настройке харнесов куча и все они не подходят потому что у каждого свой организованный порядок работы, предпочтения и тд, т.е. они предполагают слом своего порядка работы под то что предлагает автор.
Получается, что харнес для постоянной работы (разработки) это как IDE, можно посмотреть кто какими плагинами пользуется, но настраивать все равно придется на свой вкус и цвет под свою работу самому.
Представьте что вы настраиваете себе IDE. Начните с прочтения описания что умеет харнес на его официальной странице, установите его (1 команда), запустите (1 команда), почитайте какие плагины предлагают, поставьте что приглянулось и пробуйте работать. Дальше все зависит от того чем вы занимаетесь и как устроена ваша работа.
По поводу статей, у меня в черновиках лежит статья о том какие модели и как использовать для пользователей со слабыми картами до 8ГБ/12Гб. Конечно, там не будет качества фронтир моделей, но как ежедневный помощник общего назначения (и написания несложного кода) использовать можно. Допишу как будет время.
Правильный подход: основные веса модели в Q8, K-кеш в FP16, V-кеш в FP16 или на крайний случай FP8. Тогда будет качество.
Хм... А через что запускаете? vLLM, llama? Можете пожалуйста поделиться параметрами запуска и выбор модели?
Хм... А через что запускаете? vLLM, llama?
Зависит от задач, наиболее часто vllm, transformers, LM Studio, Unsloth Studio.
Можете пожалуйста поделиться параметрами запуска и выбор модели?
Основная модель с открытыми весами, которую сейчас использую Qwen3.8-27B. Параметры запаску хорошо описаны тут возьмите кванты под размер памяти на своей видеокарте. Там есть две кнопки:
Run Qwen3.8 Guide - с детальным описанием
Download Unsloth - для скачивания и установки Unsloth Studio
Этот сайт буквально азбука по запуску моделей, находите поиском на сайте карточку интересующей вас модели и читаете. Помимо Qwen3.8-27B можно посмотреть на Muse Glimmer.
для Qwen3.8 на 3090/4090 рекомендую глянуть репу syv-ai/qwen38-27b-rtx3090 на гитхабе
Сейчас использую deepseek-harness с плагинами, которые он сам написал под мои задачи
Расскажите коротко, что делает конкретный такой плагин, очень интересно
а как вы смотрите количество звезд для отдельно взятого скила? Например, вы несколько раз упоминаете этот репозиторий:
https://github.com/mattpocock/skills
я там вижу только количество звезд всего репозитория, не отдельных скилов
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ТОП-50 скиллов для ИИ‑агентов (9 млн звезд на GitHub, 22 млн установок)