Комментарии 10
Попытался понять, что именно делает gptchat в вашем проекте, но сходу не понял - если опишете кейс - будет круто))
А по поводу openai api - верю что с ним нет проблем, но в pet проектах не доверяю сторонним api - потому что они имют свойства меняться, отключаться, уходить под санкции - а я предпочитаю решив задачу, больше к поддержке никогда не возвращться - работает - не трогай)
Что конкретно может делать 8б моделька работающая со скоростью несколько символов в секунду?
Яндекс не просто так не может добавить скилы на человеческом языке, они не могут свой ии даже научить нормально реагировать на команды типа поставь на паузу, это не так просто как кажется.
Даже моделька 1.5b - вполне может разобрать текстовый запрос и выдать номера приборов которые надо включить / выключить. Я собственно это проверял (правда тогда таких маленьких моделей на русском не было, и я проверял на английском). И она даже на процессоре будет выдавать ответ почти мгновенно, тем более что нам и не нужно от неё сложных рассуждений, а нужно как раз несколько символов.
А про яндекс - скорее всего это не так просто как кажется - если речь идет о миллионах запросов, которые им надо обрабатывать и уровне качества при котором включить не тот прибор - это катастрофа. А вот в домашнем варианте - где больше 1 запроса в секунду - уже почти невероятный сценарий, и точность в 95% удовлетворительна - всё сильно проще. Сложность механизмов почти всегда растёт ассимптотически при приближении к идкеальному результату)
Осталось найти небольшую коробочку, желательно безвентиляторную, с много-много-памяти.
Потому что так-то, в общем, ollama можно запустить даже на одноплатнике ARM с 4 гигами, но этого мало.
Решил для себя эту проблему выделив на дне кладовки место под пару full-Tower машин (в конце концов где то ведь и nas должен быть свой, и git). Времена когда rapberry pi были в 10 раз дешевле x86-64 машины как будто уже и прошли, а б/у пк можно достать за копейки (или, что еще проще, не продавать старый при переходе на современное желео :D ).
Ну и даже в небольшой квартире чаще всего можно оборудовать место (например верхние полки шакфов в прихожей до которых никогда не дотянешься, углы кладовки, угловые ящики в п-образной кухне)
Хотя может в недалеком будущем в ollama добавят поддержку нейроускорителей, которые есть на актуальных arm чипах, и мы что-то карманного форм фактора получим))
Времена когда rapberry pi были в 10 раз дешевле x86-64 машины как будто уже и прошли
Сейчас можно по копеечной стоимости TV-боксы брать, они и маленькие, и жрут мало энергии.
Очень удобно для всякой автоматизации. Но вот с памятью там беда...
Большой х86-64, прежде всего, гудит, а я этого терпеть не могу, отвык. Хотя, можно и вынести куда подальше...
У НВидеа есть похожая коробочка, там 8 Гигов: nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/nano-super-developer-kit/
Со специальными CUDA ядрами. Как у нас достать не знаю.
LLM в Pet проектах