Comments 12
Qwen2.5-7B и Llama-3.1-8B с простыми функциями хорошо работают, если же надо более сложные вещи, типа сгенерить SQL запрос без ошибок и вызвать функцию, то нужно уже что-то типа Qwen2.5-14B
Это для квантизизованных Q4 моделей
Эти модели плохо работают для русского языка. Подробнее в статье
https://habr.com/ru/articles/892468/
Вы слишком многого хотите от 8b моделей да еще и квантизованных. Ollama по умолчанию грузит квантизованные q4 модели - а они более тупые чем полная 8B модель и дает больше ошибок . Та же Qwen2.5-14B довольно хорошо отвечает на русском и понимает вопросы даже квантизованная, а модель на 32B будет еще лучше работать.
Извините, а ошибки прямо в первом абзаце - это демонстрация того, что статья написана человеком?
Это бейт на коммент, говорят, для алгоритмов хорошо
Мне еще в десятых годах пришло письмо "от гугловского рекрутера", в тексте тоже была ошибка - сразу подумалось, что ее поставили, чтоб заставить автоспам выглядеть "написанным от руки".
Что такое инструменты?
В статье написано про то, что задача использовать "RTX 3060 с 12ГБ", а модель 19ГБ и на скриншоте видеокарта RTX 3090 c 24ГБ на борту....
Cohere Command — революция, которую мы пропустили