Пользователь
26b модель с 40к токенов на 5080 влезает + отжирает оперативу. В Cursor пишет долговато, но в целом норм
Не может. Cursor у себя на серверах все делает.
Убедили. Спасибо за дискуссию!
Ну грузится с 16к контекстом и картинки распознает(если я правильно вас понял). Что я делаю не так?
Если уж на то пошло, то не контекста, а KV-кэша и вполне себе относится к модели, вернее к ее квантизации и соответственно размеру....
Я ее нашел на HuggingFace и вроде как LmStudio умеет ее запускать
На HuggingFace есть gemma-4-26B-A4B с TurboQuant. Моделька 14Гб. Сейчас догрузится и попробую ее запустить
Q4_K_M. Сейчас нашел с TurboQuant IQ3_S попробую с ней.
Кстати, автор, Cursor с локальной моделью работать не умеет, ее надо выбрасывать наружу, чтобы он мог к ней подцепиться.
Дайте промт, я сделаю тест как есть)))
А где взял модельку с TurboQuant?
Запустил через LmStudio на винде на rtx5080 и Ryzen 5950х c 64Гб DDR4 и подключил к Cursor через самописный бэкконнект-прокси gemma-4-26b-a4b.
Понравилось. Не шибко быстро, но результат очень даже на задаче по фронту.
Читал. Смысл не меняется. Ваши доводы не соответствуют действительности
99% таких подписок - это или кардинговая тема или вывод бабок из казиков
Ну не знаю... Qwen-3.6(не локально запущенный, а облачный) мне очень нравится)
Именно поэтому вы выложили пост сюда))) Очень странный вы комерс, которому не интересно мнение людей)))
И для первого и для второго используются цепи Маркова и алгоритм Монте-Карло. Просто странно ожидать от языковой модели решений такой серьезной математической задачи
Так это все настраивается в v2RayA)
ТС, у меня один вопрос! А зачем так усложнять? Есть же пакет V2RayA и все можно сделать без отдельных скриптов и прочего и главное - в 10 раз легче
26b модель с 40к токенов на 5080 влезает + отжирает оперативу. В Cursor пишет долговато, но в целом норм
Не может. Cursor у себя на серверах все делает.
Убедили. Спасибо за дискуссию!
Ну грузится с 16к контекстом и картинки распознает(если я правильно вас понял). Что я делаю не так?
Если уж на то пошло, то не контекста, а KV-кэша и вполне себе относится к модели, вернее к ее квантизации и соответственно размеру....
Я ее нашел на HuggingFace и вроде как LmStudio умеет ее запускать
На HuggingFace есть gemma-4-26B-A4B с TurboQuant. Моделька 14Гб. Сейчас догрузится и попробую ее запустить
Q4_K_M. Сейчас нашел с TurboQuant IQ3_S попробую с ней.
Кстати, автор, Cursor с локальной моделью работать не умеет, ее надо выбрасывать наружу, чтобы он мог к ней подцепиться.
Дайте промт, я сделаю тест как есть)))
А где взял модельку с TurboQuant?
Запустил через LmStudio на винде на rtx5080 и Ryzen 5950х c 64Гб DDR4 и подключил к Cursor через самописный бэкконнект-прокси gemma-4-26b-a4b.
Понравилось. Не шибко быстро, но результат очень даже на задаче по фронту.
Читал. Смысл не меняется. Ваши доводы не соответствуют действительности
99% таких подписок - это или кардинговая тема или вывод бабок из казиков
Ну не знаю... Qwen-3.6(не локально запущенный, а облачный) мне очень нравится)
Именно поэтому вы выложили пост сюда))) Очень странный вы комерс, которому не интересно мнение людей)))
И для первого и для второго используются цепи Маркова и алгоритм Монте-Карло. Просто странно ожидать от языковой модели решений такой серьезной математической задачи
Так это все настраивается в v2RayA)
ТС, у меня один вопрос! А зачем так усложнять? Есть же пакет V2RayA и все можно сделать без отдельных скриптов и прочего и главное - в 10 раз легче