Требования к железу для малых LLM весьма скромные. Видеокарта 1060 и оперативная память от 8гб. Что касается у приведенной в примере модели у меня стоит 4090 и 32гб. Но уверяю что работать будет не на столь производительных ПК. Что касается сравнения тут не подскажу, но учитывая что запуск происходит оффлайн у меня практически нет ожидания ответа. Что касается качества ответа тут по большей части зависит от промта и самой LLM которую вы установите. Советую попробовать несколько, и иметь в запасе штуки 3 для выбора)
Тут не соглашусь, вполне себе хватает как для помошника. Даже с более слабой моделью.
Требования к железу для малых LLM весьма скромные. Видеокарта 1060 и оперативная память от 8гб. Что касается у приведенной в примере модели у меня стоит 4090 и 32гб.
Но уверяю что работать будет не на столь производительных ПК.
Что касается сравнения тут не подскажу, но учитывая что запуск происходит оффлайн у меня практически нет ожидания ответа.
Что касается качества ответа тут по большей части зависит от промта и самой LLM которую вы установите. Советую попробовать несколько, и иметь в запасе штуки 3 для выбора)