Ollama+OpenWebui+gemma3 7b работает, если выставить температуры, адекватный промт, но есть одно НО - файнтюинг и обучение на собственных данных не дало адекватного результата - система начинает галлюционировать. Даже при 30 загруженных документах сначала выдаёт вроде верно, а потом сильно выдумывать начинает. Если нужно сделать ии на основе своей базы знаний - то нужно разворачивать более специализированный RAG
Аутсорс тоже может быть разный, на разных уровнях. Одир из уровней защиты/ безопасности отдать на аутсорс - ок. Некритичные сервера и сервисы- ок. Расходку (картриджи, обслуживание оргтехники), тоже ок.
Но, например, с тем же сервисом сопровождения арм и по, такое в положительную сторону прокатывает редко. Ладно если компания маленькая, а если гигант - у которой точки по всей стране, тут уже начинается проблема. Либо в каждом регионе должен быть сервисный центр (СЦ) подрядчика, свой штатный спец. Иначе набирают низкоквалифицированные кадры с объявлений и начинается зоопарк.
Также важно реально следить за sla аутсорсеров, наиболее частая проблема - медленное время реакции на запрос. Приходится дрессировать подрядчиков, а т.к. текучка у аутсорсеров высокая - одного научил, через месяц он ушёл и начинаем заново.
Ну и глобальная проблема - экономия. Компаниям нужен дешёвый аутсорс, а дешёвое в этой сфере - значит плохое (проверено на личном опыте).
Ollama+OpenWebui+gemma3 7b работает, если выставить температуры, адекватный промт, но есть одно НО - файнтюинг и обучение на собственных данных не дало адекватного результата - система начинает галлюционировать. Даже при 30 загруженных документах сначала выдаёт вроде верно, а потом сильно выдумывать начинает. Если нужно сделать ии на основе своей базы знаний - то нужно разворачивать более специализированный RAG
Аутсорс тоже может быть разный, на разных уровнях. Одир из уровней защиты/ безопасности отдать на аутсорс - ок. Некритичные сервера и сервисы- ок. Расходку (картриджи, обслуживание оргтехники), тоже ок.
Но, например, с тем же сервисом сопровождения арм и по, такое в положительную сторону прокатывает редко. Ладно если компания маленькая, а если гигант - у которой точки по всей стране, тут уже начинается проблема. Либо в каждом регионе должен быть сервисный центр (СЦ) подрядчика, свой штатный спец. Иначе набирают низкоквалифицированные кадры с объявлений и начинается зоопарк.
Также важно реально следить за sla аутсорсеров, наиболее частая проблема - медленное время реакции на запрос. Приходится дрессировать подрядчиков, а т.к. текучка у аутсорсеров высокая - одного научил, через месяц он ушёл и начинаем заново.
Ну и глобальная проблема - экономия. Компаниям нужен дешёвый аутсорс, а дешёвое в этой сфере - значит плохое (проверено на личном опыте).