Как стать автором
Поиск
Написать публикацию
Обновить

Комментарии 15

Диспозить client в "фасаде" не нужно.

Почему?

  1. using уже указан для него

  2. общепринятый дизайн

Код да, странный, но это PoC, его как угодно можно написать, главное чтобы работал.

А вот тут как раз странно, ибо писать такой детальный пример, а снизу писать что он больше не работает... Почему-бы сразу не использовать OllamaApiClient вместо OllamaChatClient и новый пакет?

Спасибо за внимательность. Да, using можно было не писать. Поправил.

Вы сделали всё наоборот.

А почему Ollama ? Я тоже делал, только без Microsoft.Extensions.AI. Подключался по API.
Мне не хватало удобного перемещения по вопрос-ответ, и сделал простенькую форму и кнопки вверх-вниз для быстрого перемещения по чату. Но получается что это обертка над оберткой. И попробовал использовать LLamaSharp, что оказалось очень удобным.
Кстати в Ollama можно легко грузить модельки с huggingface.co

Правильно ли я понял, что возможности модели ограничены лишь способностями разработчика? Т.е. я могу научить модель работать с информацией, находящейся в файлах word и excel, например? Количество токенов на входе и выходе будет зависеть только от железа или не только или вообще не от железа? Заранее благодарю за ответы.

В C# можно собрать свой датасет, и используя ML.NET дообучить модель.

С windows и linux все просто, а вот с android... Так ещё что бы сторонние приложения получали доступ, это уже сложнее. Весь хабр уже перечитал.

Можно использовать ту же LLama

Посоветуйте какую модель попробовать для AMD Phenom II X4 965 + DDR3-12Gb. Что бы отвечала в пределах 1 минуты примерно...

В феноме нет поддержки avx никакой, работать не будет ничего

Неправда, работает Koboldcpp

Да медленно, но компактные модели для некоторых задач использовать можно

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации