Обновить

Комментарии 4

Спасибо за публикацию: очень интересен ваш опыт. Для своего пет-проекта (GEDKeeper) я также разработал MCP сервер. Все решения выбирал исходя из того, что пользователь будет минимально искушенный и вряд ли пойдет в облачные LM-сервисы и модели. Всю начинку также делал исходя из минимума без развертывания docker и всего, что может остановить не ИТ-специалиста. Увы, эксперименты пока показали, что на бытового уровня железе и маленьких локальных моделях, при обработке метрик и РС, количество ошибок локальной модели зашкаливает. Хотя с инструментами и базой работает хорошо. Пока застрял во всех LM-разработках, т.к. для локального применения обычным пользователем не вижу ниши. Еще раз спасибо - было интересно почитать!

Спасибо за отзыв и то, что поделились вашим опытом! Интересно видеть разный подход к одной проблеме.

Я заметил, что довольно большая часть публичных метрик уже проиндексирована, и думаю, что простая модель должна с этим справляться. А ещё, мне кажется, для неискушённых пользователей особенно важна подсказка, куда двигаться дальше в поиске.

Кстати, на облачной модели я был приятно удивлён, насколько хорошо она читает дореволюционные тексты - думал, будет гораздо хуже.

Я столкнулся с интересной вещью. Если для личных экспериментов на облачных моделях и чтение дореволюционных текстов и их разбор до атомарных фактов - проходил замечательно. То с локальными... т.к. я исходил из своего круга пользователей - для программы использовал только локальные модели (Qwen3.5-9B и Gemma4-E4B) и тут начинается цирк: тексты они читают на удивление достойно. Бывают ошибки, но они какие-то плавающие, то возникнет, то на том же образце в другой сессии все хорошо. Но вот интерпретация до атомарных фактов, чтобы потом внести их в базу - именно тут проблемы пошли косяками. Не может из элементарного текста извлечь фамилию хозяина двора, не может связать детей с отцом, путает сына с дочерью. RAG, факты - были сделаны на самом примитивном уровне, но работали. Но это не помогало - сами модели косячили где можно и где нельзя. Причем всплыла еще другая проблема: Qwen дотошно выполнял все требования роли ассистента, но медленно и грустно, нужен был лишь минимальный протокол действий практически без запретов. Gemma - летал, был скор на разговор за жизнь, стремительно (и глючно) определял всё что можно в образцах, но категорически не хотел соблюдать правила и протокол. Отрабатывал системную роль для них с применением трех облачных моделей, полтора десятка вариантов - всё впустую...

Сейчас по следам вашей публикации, я поразился своей дубовости - три месяца копаю тему в хвост и в гриву, перепробовал на интерес кучу всего. Но даже в голову не пришло, что всю тему можно прикрутить к улучшению взаимодействия с программой, подключить к MCP справку, сделать более интеллектуальное взаимодействие. Провал какой-то... влип в тему с обработкой данных, и всё остальное пролетело мимо

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации