vue-llm: AI SDK для Vue и Nuxt — стриминговый чат, Generative UI и модели прямо в браузере

[space2pacman]

Идея интересная только что делать с LLM SmolLM2 360M?

- Hello

- Hello from outdoce, Hi, I ssaN't I the urnizd關rizebrdAppsingCosmolismto CondomicchatterCracked and less It is Stefan Globus is "totally" trink little, signature No Hertie, toonsr Local 1911 is it OLDscored genius, I get. 00o000110110001110000010010010000010100

[dadash_i]

 Спасибо, что попробовали! Такой «шум» вместо текста -не уровень модели, а похоже на проблему с вычислениями на вашей видеокарте: в песочнице используются версии моделей с 16-битной точностью (q4f16), и на некоторых GPU/браузерах они выдают мусор. Подскажите, пожалуйста, какой у вас браузер и видеокарта? Поправлю песочницу, чтобы она сама выбирала совместимую версию модели.А вообще SmolLM2 360M - самая маленькая модель, она для быстрого знакомства: короткие ответы и простые вопросы. Для чего-то полезного лучше взять Llama 3.2 1B или Qwen2.5 0.5B в том же списке. Главное в демо - что это тот же useChat, что и с OpenAI: модель в браузере подключается сменой одного провайдера.

[dadash_i]

  ▎ Поправил песочницу: теперь она сама проверяет видеокарту, а если ответы всё равно странные, включите галочку «32-bit mode» под списком моделей. Попробуете ещё раз?