Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само

[bkisonka]

Идея хорошая. Правда нечто похожее есть уже в LM Studio. Но как самостоятельное творчество - почему бы и да :) Несколько замечаний по анализу репозитория:

1. Нет лицензии. Ни LICENSE, ни указания в README/GitHub — юридически «все права защищены». Переиспользовать этот код — без разрешения автора нельзя. Тогда зачем упоминать репозиторий?

2. Цепочка поставки движков держится на одном S3-бакете (Timeweb) и одном человеке. Обновления подписаны, а вот сами движки — нет: их целостность = SHA256 в манифесте, который лежит в той же инфраструктуре. Компрометация бакета или машины автора → произвольный код на машинах пользователей. Обновление манифеста из S3 пока вообще не подключено (код newest() помечен dead_code) — сейчас работает только зашитый манифест, что пока безопаснее.

3. Без подписи Microsoft установка новичка через «Всё равно выполнить» — для целевой аудитории это риск, что люди привыкнут жать эту кнопку на чём попало, плюс подделки под Ollivo никто не отличит.

4. Локальный llama-server без API-ключа — любой процесс того же пользователя машины может им воспользоваться. Для категории продукта норма (Ollama так же), но формально это дырка в мультипользовательской Windows.

5. «Авто»-режим папки проекта — модель правит и удаляет файлы без подтверждения. Бэкапы смягчают, но вредоносный документ в папке может подсказать модели что-то удалить; граница «только папка проекта» здесь единственная защита.

6. Гигиена кода: в engines.rs закоммичен настоящий NUL-байт внутри тестовой строки (comfyui\0.37.0 — экранирование съело бэкслэш): файл для grep/Read «бинарный», а смысл теста тихо изменился.

[WufCorp]

Сейчас не дома, позже отвечу более развернуто, но да, есть лм студия, но там нет всех возможностей. А у меня версия только 0.3, считай альфа версия, которая будет дорабатываться и дорабатываться, я многим пользовался и в каждом из сервисов есть что-то свое, но не весь функционал разом, а тут будет все в одном из коробки, с почти нулевым порогом входа)

[Lizdroz]

Проще всего переложить скачивание движков прямо на официальные релизы llama.cpp с гитхаба, тогда снимутся вопросы к доверию, да и трафик личного сервера не будет улетать в космос

[netricks]

Хм... действительно ли проблема существует, вот вопрос.

Мне кажется, на видное место нужно положить гайд, как за пять минут подружить эту штуку с qwen-code, sillytavern и прочими очевидными потребителями для запуска на 127.0.0.1 . Будут понятные сценарий использования

[WufCorp]

Работаю в этой сфере и проблема есть, многие даже не знакомы с понятием локальная модель, а те немногие кто знаком считаю это сверхсложным процессом.

То что говорите вы, конечно будет в будущих обновлениях. Сейчас я собираю начальный фидбек, а также если еще отчеты делать будут в приложении, то смогу абсолютно под каждое железо подстроиться.

[sTROOOONGER]

Посмотрите ещё unsloth. Они делают что-то похожее. Там и чат и картинки и видео - всё в одном клиенте.

[WufCorp]

Здравствуйте, да, идея общая у нас. В любом случае как закончу реализацию, то буду дальше смотреть, как улучшать и усовершенствовать продукт.

[starfair]

А можно ли использовать вашу разработку, как фронтенд для развернутой и запущенной где то в другом месте llm?

[WufCorp]

В данный момент еще пока нет, но такое тоже будет реализовано в дальнейшем, по крайней мере планы такие есть.

[bkisonka]

У меня есть такая штука. Возможно, почти то, к чему стремится автор. Любые модели локальные и через API. Чаты, генерация картинок, общение голосом, своё PWA, свой SIP-клиент (можно разговаривать по телефону с моделью), набор встроенных скриптов ("руки" модели), если что дописывает их сама по потребности. Оригинальный механизм управления памятью. В общем много там всего. Только вот нет модуля загрузки моделей с HF. Мне как-то и в голову не приходило, что кому-то будет сложно запустить Ollama или LM Studio.

Интерфейс чата

Интерфейс настроек

[SkalolazOther]

Коллега, в вопросе интеграции с SIP вы продвинулись значительно дальше меня. Если этот проект находится в открытом доступе на GitHub, не могли бы Вы поделиться ссылкой на него?

[bkisonka]

Я пока не решаюсь выложить его на GitHub. Всё время кажется, что-то не доделано. Видимо нужно привести кодовую базу в порядок и поделиться с людьми :)

[starfair]

Супер! С удовольствием протестирую, когда вы откроете доступ

[Aleksei_7bc]

Unsloth и LMStudio средний юзер способен осилить. Наверное Вам нужно идти в нишу "одна кнопка для чатика", "другая кнопка для картинок", но с чувством гордости "я освоил нейросети" (возможно uncenz модель для картинок)

[WufCorp]

Сути немного разные у сервисов)

[Lizdroz]

Средний юзер впадает в ступор при виде переключателя контекста на восемь тысяч токенов, проверено на живых людях))

[Lizdroz]

Режим автоматической правки файлов в проекте выглядит как-то рискованно для модели на три миллиарда параметров, при таких размерах сетка легко галлюцинирует и может снести нужные куски кода втихую

[WufCorp]

Как я и сказал, я пока что выложил раннюю версию, чтобы люди могли попробовать как и что и дать обратную связь)

[ga661go6]

Кто-нибудь проверял на AMD Ryzen Max 395+?

[WufCorp]

Обновил версию, добавил новое и также учел отзывы и обратную связь.