Выбор локальной LLM модели. Публикация на сайт с чатом

[antirek]

какую модель можно использовать для определения русскоязычного спама? чтобы наверняка определял 98+%

[tripolskypetr]

antirek-gpt, это биоробот бездушный такой)

Такого биоробота обязательно нужно использовать, хотя бы, для дополнительного просмотра и комментария

[Den-R]

Если речь о выборе модели, то в плане поддержки русского языка и сообразительности: Gemma 3 4b показывает себя лучше Немотрона. Вызов функций не проверял, но это также поддерживается

[tripolskypetr]

Официально вызова инструментов в Gemma нет. Не официально, можно пропатчить промпт, но иногда моросит

https://github.com/ollama/ollama/issues/9680

[Den-R]

Цитата: "...бессмысленно вести медицинскую консультацию, которая не закончится продажей фармокологического продукта".

Я понимаю, что мы живём в современном мире, где медицина преимущественно платная, и даже не собираюсь спорить против. Но от этой фразы немного не по себе и грустно...

[tripolskypetr]

Некоторые страны делают ещё более веселые выводы: бессмысленно это выдавать россиянам турвизы, так как туризмом при таких обстоятельствах уже никто не занимается...

Подумайте об этом по другому, из-за вашей болезни ещё один день не сдохнет с голоду специалист, потративший годы на самообразование, чей труд обесценило клиповое мышление людей, которые GUI предпочли чатики

[fishan]

не понятно какие llama модели запускались, видимо самые кастрированные дистилированные с квантизацией в 2 на бита и какие настройки были у моделей. так как такие ответы, где в перемешку русский с другими я там встречал. модель.

[tripolskypetr]

А при чём тут llama? На фото - deepseek

[Shannon]

ollama всех обманула и назвала R1 Distill модели, как обычный deepseek r1. Полное название модели на скриншоте - DeepSeek-R1-Distill-Llama-8B, это файнтюн LLaMA 3.1 8B, ничего общего с качеством deepseek R1 не имеет.

[tripolskypetr]

Очень интересно, на досуге чекну хеш суммы

[FadeToBlack]

Скачал я saiga_yandexgpt_8b.Q8_0.gguf. Что могу сказать, она очень хороша. Я несколько месяцев уже не пробовал свежие модели, но это действительно шаг вперед. Достаточно точно отвечает на вопросы, знает подробности и очень мало выдумывает бреда, хотя встречаются иногда вымышленные термины.

[tripolskypetr]

Из галлюнов, она вызывает не существующие инструменты. LMStudio такое не фильтрует и кидает как текстовое сообщение

[adiom]

Спасибо автору за статью! Очень актуально для тех, кто, как и я, экспериментирует с LLM (я использую M1 для tools и MCP) помните: ИИ — это инструмент, но не замена здравому смыслу и консультациям с врачами. Если ИИ-модель уже добавила вам в корзину "чудо-аспирин", не спешите покупать! Сначала посоветуйтесь со специалистом. Иначе рискуем вернуться к "лечению по советам ведуньи". 😉

[oybekdevuz]

Я думаю, тут не только о продаже аспирина речь...