Comments 12
Хочу отметить, что есть более удачный как минимум в функционале и дизайне веб-интерфейс - oobabooga/text-generation-webui
Он позволяет запускать как GGUF модели, запускаемые на CPU, GGML модели, запускаемые на GPU, так и неквантованные модели
Ну и считаю, что локально запускаемые модели лучше показывают себя в развлечениях, таких как текстовые RPG (тут могла быть реклама моих статей с другого сайта)
Модели надо брать не просто с Hugging Face, а с https://huggingface.co/TheBloke, их там уже более 3 тысяч в основных форматах GGUF/GGML, GPTQ и AVQ.
Mistral-based модели на 7B показывают качество ответов на уровне и лучше llama2-70B.
Deepseek это китайская модель - хотя отвечает по-русски лучше, чем русская saiga2. Deepseek-coder-instruct, тем не менее, в рейтинге моделей AI-Coders стоит сразу за ChatGPT 4 и своим же деривативом Magicoder. Её легко прикрутить в VSC с помощью расширения Continue и использовать как неплохой локальный аналог Copilot. На удивление умеет даже 1С, хотя ограниченно.
Абсолютно все локальные модели в ответ вопрос "Who was Vladimir Iliych Lenin's father?" выдают самые фантастические ответы.
Mistral 7b v0.2 отвечает:
Vladimir Ilyich Lenin did not have a well-documented or direct relationship with his biological father. According to most historical records, Lenin's parents were Ilya Nikolayevich Ulyanov and Maria Alexandrovna Blank. However, there are some theories suggesting that Lenin may have been the illegitimate son of a nobleman named Arnold Volkonsky or Count Mikhail Gregorivich Lieven. These claims lack concrete evidence and are generally considered baseless by scholars. The misconceptions likely stem from anti-Bolshevik propaganda during Lenin's lifetime and in the early Soviet era.
Говорят, что Mistral-8x7B ещё лучше, но я пока не пробовал.
Добавил тестирование новой LLM нейросети Mixtral-8x7B, один из вопросов был про Владимира Ильича Ленина
Абсолютно все локальные модели в ответ вопрос "Who was Vladimir Iliych Lenin's father?" выдают самые фантастические ответы.
Это вы ещё не просили рецепт борща))
Каждый проверяет сетки видимо своим вопросом))
А кто нибудь проводил или может есть ссылка на модели, которые могут обсуждать более узкие темы или употреблять нецензурные выражения? Пока , что мой опыт с разными моделями говорит, что проще свою модель натренировать, чем заставить промптом существующие.
Лично я использую Ollama для запуска LLM моделей. На его сайте также публикуются модели и достаточно одной команды, чтобы его загрузить к себе на компьютер и запустить. Можно их кастомизировать и также импортировать свои GGUF модели. Рекомендую попробовать.
Вот я туплю.
А тренировать/дообучать модели кобольд может? Или только выполнять готовые?
А кто может?
Локальные GPT нейронный сети — устанавливаем на домашнем ПК, запускаем и проверяем на адекватность аналоги ChatGPT