Интересное приложение. Но нужно немного доработать.
Пишу Михалычу вопрос, долго пишу, старюсь. Нажимаю "отправить". Выдает "Неполадки связи". Заново писать всё это - тяжело. Нет кнопки "повторить" у неотвеченного запроса.
Выхожу из диалога. Захожу заново, что бы еще раз попытать счастья, повторить вопрос - чат пустой.
На "рынке ИИ" все так быстро меняется, что мой эксперимент скорей всего уже устарел. Пока думаю как реализовать поиск по фото. Тогда приложение будет более менее полезным.
потом стали появляться статьи на схожую тематику и полегчало)
Все на этом помешались, и я попробовал на старом железе. https://habr.com/ru/articles/914392/ У вас действительно получилось. Теперь "умный дом" действительно станет умным.
Если вы хотите использовать LM Studio как сервер, то в любой доступной web оболочке умеющей общаться с LM Studio через OpenAI API (например в этом проекте один файл index.html: https://github.com/YorkieDev/LMStudioWebUI) указываете подключение к вашему LM Studio и готово. Где посмотреть строку подключения:
В Web оболочке указываем адрес и общаемся:
Но LM Studio использует mcp-server только в своем интерфейсе. Он доступен для внешнего ПО как сервер моделей, без mcp функционала.
Вам нужен такой клиент, который умеет использовать mcp серверы.
Да, поэтому и написал что работает только по впн. Регистрация бесплатная, потом заканчиваются токены. Можно зарегистрировать заново через временную почту. Т.е. практически бесплатно.
Это прототип (Proof of Concept), для демонстрации работоспособности mcp сервера на c#. Предупреждения не так критичны. Но если вы будете разрабатывать для реального использования - конечно необходимо более серьезно отнестись к качеству кода.
Ваша модель запустила read_file - это чтение текстовых файлов. Снимите напротив этой функции галку что бы ее игнорировать. Должна вызываться rag_search.
Статья обзорная, все функции в одну кучу, для примера.
В одном mcp сервере две похожие с точки зрения модели функции read_file и rag_search. Возможно стОит в описании функции read_file (FileOperationsTools.cs, ReadFile) заменить или дополнить описание: вместо "Read file from the specified path." написать "Read text file from the specified path." и тогда модель не будет путаться при выборе нужной тулзы.
Интересное приложение. Но нужно немного доработать.
Пишу Михалычу вопрос, долго пишу, старюсь. Нажимаю "отправить". Выдает "Неполадки связи". Заново писать всё это - тяжело. Нет кнопки "повторить" у неотвеченного запроса.
Выхожу из диалога. Захожу заново, что бы еще раз попытать счастья, повторить вопрос - чат пустой.
Спасибо! В моей статье не только поиск фото по текстовому описанию, но и видео. Плюс поиск по лицу среди фото и видео.
Если кто решится переключиться на новый драйвер, для возможности загрузки в безопасном режиме необходимо добавить:
MoE шустро работает на Ryzen AI 300. Еще одно интересное направление - текстовые diffusion модели. На хабре уже были статьи, например: Не только трансформеры: за пределами стандартных архитектур LLM / Хабр, Китайская LLaDa: как зашумленный текст превращается в осмысленный диалог – новая эра диффузионных языковых моделей / Хабр.
Ну и новое направление Diffusion-MoE, https://github.com/yhlleo/EfficientMoE
Планируется ли использование архитектуры MoE?
Добавил описание видео mp4, дополнил статью. Изменения выложил на гитхаб.
Добавил поиск по лицу, дополнил статью. Изменения выложил на гитхаб.
Про "сильно" я не говорил, но влияние от дисковой подсистемы есть.
Для HDD: это может быть старая версия SATA, сильная фрагментация, текущая нагрузка диска другими процессами.
Для SSD: проседание скорости во время операции TRIM, тротлинг при перегреве, либо при почти полной заполненности диска.
Решал схожую задачу Поиск в личном фото архиве по текстовому описанию. Но в вашем случае ollama не нужна. Это умеет llama.cpp, на которой собственно основана ollama.
Запускаете модель через
llama-serverСтавите пакет Microsoft.Extensions.AI, код можно посмотреть в разделе "Мультимодальность" https://habr.com/ru/articles/914392/
На "рынке ИИ" все так быстро меняется, что мой эксперимент скорей всего уже устарел. Пока думаю как реализовать поиск по фото. Тогда приложение будет более менее полезным.
Минимальные требования зависят от визуальной модели - если железо потянет, минимум выполнен. Дописал в разделе "Железо".
Очень приятно, и действительно неожиданно!
Консольный прототип - да. Но модель и железо настолько слабые, что результат очень непредсказуем.
Все на этом помешались, и я попробовал на старом железе. https://habr.com/ru/articles/914392/
У вас действительно получилось. Теперь "умный дом" действительно станет умным.
Если вы хотите использовать LM Studio как сервер, то в любой доступной web оболочке умеющей общаться с LM Studio через OpenAI API (например в этом проекте один файл index.html: https://github.com/YorkieDev/LMStudioWebUI) указываете подключение к вашему LM Studio и готово.
Где посмотреть строку подключения:
В Web оболочке указываем адрес и общаемся:
Но LM Studio использует mcp-server только в своем интерфейсе. Он доступен для внешнего ПО как сервер моделей, без mcp функционала.
Вам нужен такой клиент, который умеет использовать mcp серверы.
Да, поэтому и написал что работает только по впн. Регистрация бесплатная, потом заканчиваются токены. Можно зарегистрировать заново через временную почту. Т.е. практически бесплатно.
Это прототип (Proof of Concept), для демонстрации работоспособности mcp сервера на c#. Предупреждения не так критичны. Но если вы будете разрабатывать для реального использования - конечно необходимо более серьезно отнестись к качеству кода.
Ваша модель запустила read_file - это чтение текстовых файлов. Снимите напротив этой функции галку что бы ее игнорировать. Должна вызываться rag_search.
Статья обзорная, все функции в одну кучу, для примера.
В одном mcp сервере две похожие с точки зрения модели функции read_file и rag_search. Возможно стОит в описании функции read_file (FileOperationsTools.cs, ReadFile) заменить или дополнить описание: вместо "Read file from the specified path." написать "Read text file from the specified path." и тогда модель не будет путаться при выборе нужной тулзы.
Qoder (https://habr.com/ru/articles/939902/) - по впн очень бодро соображает. Много где мне помог, например сформировал компонент отрисовывающий html нативно (https://habr.com/ru/articles/946254/).
04.11.2025 для поиска в word файлах накатил небольшой фикс для RAGTools и перевыложил релиз.