Comments 13
По вашему мнению, какие из открытых llm лучше всего справляются с текстами на русском?
lightblue/suzume-llama-3-8B-multilingual и моя ruslandev/llama-3-8b-gpt-4o-ru1.0
какие из открытых llm лучше всего справляются с текстами на русском?
Вашему вопросу не хватает уточнений по весу модели, свежести её знаний и характере работы с текстом.
Например, ллама с весом 405b великолепно справляется с текстами на русском но сможете ли вы эффективно крутить эту модель?
Гибриды на основе третьей лламы неплохо писали тексты, но большинство из них ничего не знают о событиях и технологиях после 2021 года, подходит ли это под цели ваших текстов?
Ну и читать с пониманием могут даже модели с весом 0.5b, причем делают это быстрее прочих - попадает ли это под ваше определение "справляться с текстом"?
А что скажете на счёт Gemma 2?
Парни, а такой вопрос. Кто нибудь встраивал небольшие LLM в полноценное приложение? К примеру, как скрепка в офисе или обработчик какой нибудь. Хочется посмотреть реализацию
Работа с LLM по API или полноценное встраивание сервера в свое приложение?
Скрепку можно реализовать простым расширением к браузеру, которое будет хранить часто используемые промпты и бегать с ними на сервер по мере надобности.
Не, без сервиса. Чисто локально, исключительно внутри приложения. Скрепка, это так пример. Без интернета, без отдельного, ручного поднимания сервера. Как агент приложения
хм, судя по интернету Ллама поднимают даже на малинках без интернета, что мешает поднять его уже внутри приложения ? (ну да надо как то прилинковать все)
https://www.dfrobot.com/blog-13412.html
https://github.com/garyexplains/examples/blob/master/how-to-run-llama-cpp-on-raspberry-pi.md
То что локально маленького чат бота поднять хоть на осциллографе это понятно. Мне саму реализацию интересно посмотреть. Это ведь уже полноценного специализированно помощника сделать можно. Бухгалтерию, на данным момент я бы ему не доверил, но какую-то автоматизацию со сверкой данных или тому подобное можно было бы сделать.
Рискну спросить - почему бы не попробовать спросить кого-нибудь из больших нейросетей? Они вполне способны рассказать о подходах и даже набросать скелет простого приложения для решения интересной вам задачи на интересной вам платформе. И если заинтересуют особенности какой-нибудь детали вроде "JNI для взаимодействия с llama.cpp", то тоже можно расспросить.
Как мне кажется, для вашей задачи "хочется посмотреть реализацию" такой подход вполне достаточен.
Мультимодальные приложения на Llama 3.2 и Llama Stack