Ознакомился, интересная вешь, мне вот курсор не зашел, и этот тоже не нравиться, что недает свои локальные модели использовать... модет кто подскажет, подобные решения, но с вожножностью подключать свои локальные и глобальные ии апи. мне вот очень поравилось работать с чери студио, там много моделий, может как мост служить между моделями, проверять накакой железке модел как работает, проверять как проходит обучение... не всегда подхотят готовые решения и да и не хочется раскрывать ии свои базы, не хочу безплатно обучать чужие модели и учить их искать ошибки.
Да, так мы сэкономим десятки гигов, но просчеты будут у того, что запустил. Думаю и запуск будет очень долгий из-за заполнения графической памяти из сети, скорость запуска сильно зависит от скорости интерфейса, запуск на мак студии с 128 гигов оперативы быстрее чем на pci5.0x16 ada6000, и в разы быстрее если pci3.0x16 ada6000. Это все касается только LM Studio. Скорость работы, честно не сравнивал. На мак студии студии запучшена более жирная модель. Так как там 80 гигов выделяется под видео память, а у ada6000 48 гигов.
LM Studio сегодня меня довел до ручки, и перешел на Ollama, интерфейс сделали очень красивый, я в восторге... oss-120 отлично себя чувствует на мак студио 128Гб, использую удаленно, это значительно дешевле, чем покупать видео карту с таким количество памяти. возьмите на заметку. Если подскажите будет очень классно, Ollama заставить использовать облачные или уделанные модели. Локальную LM Studio можно подключить удаленной LM Studio и использовать в локальной сети всем желающим, хочу повторить данный опыт с Ollama
Информация
В рейтинге
Не участвует
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
Ознакомился, интересная вешь, мне вот курсор не зашел, и этот тоже не нравиться, что недает свои локальные модели использовать... модет кто подскажет, подобные решения, но с вожножностью подключать свои локальные и глобальные ии апи. мне вот очень поравилось работать с чери студио, там много моделий, может как мост служить между моделями, проверять накакой железке модел как работает, проверять как проходит обучение... не всегда подхотят готовые решения и да и не хочется раскрывать ии свои базы, не хочу безплатно обучать чужие модели и учить их искать ошибки.
Да, так мы сэкономим десятки гигов, но просчеты будут у того, что запустил. Думаю и запуск будет очень долгий из-за заполнения графической памяти из сети, скорость запуска сильно зависит от скорости интерфейса, запуск на мак студии с 128 гигов оперативы быстрее чем на pci5.0x16 ada6000, и в разы быстрее если pci3.0x16 ada6000. Это все касается только LM Studio. Скорость работы, честно не сравнивал. На мак студии студии запучшена более жирная модель. Так как там 80 гигов выделяется под видео память, а у ada6000 48 гигов.
LM Studio сегодня меня довел до ручки, и перешел на Ollama, интерфейс сделали очень красивый, я в восторге... oss-120 отлично себя чувствует на мак студио 128Гб, использую удаленно, это значительно дешевле, чем покупать видео карту с таким количество памяти. возьмите на заметку. Если подскажите будет очень классно, Ollama заставить использовать облачные или уделанные модели. Локальную LM Studio можно подключить удаленной LM Studio и использовать в локальной сети всем желающим, хочу повторить данный опыт с Ollama