интересно, а у вас есть репа на hf где можно какие-то открытые варианты обученной модели и открытые сеты данных посмотреть? (амазон например делится подобными данными)
потеря конфиденциальных данных при передаче в модель работающую на коммунальном железе - бесценна... но конечно можно только позавидовать человеку который может собрать себе в лабу машину с парой 4090 48gb VRAM просто поборов жабу (С) - 96gb VRAM....их ещё пойди найди в таком конфиге.
Использую для тестирования моделей - MMLU Pro в варианте который может по open ai api подключаться , конкретно https://github.com/chigkim/Ollama-MMLU-Pro , но в целом есть набор подобных . Не то что бы мегасупер но ничего лучше не нашел. Датасеты можно свои делать под домен.
А почему именно LiteLLM а как api gw а не BiFrost ? Бифрост вроде пошустрее , в целом его пишут с оглядкой на LiteLLM но более "под прод" - чисто ИМХО конечно.
это концептуальная ошибка, тот кто так делает - рано или поздно об этом пожалеет ))
в печку надо кидать, burn them all
gitbash + rsync - отлично работают на винде
интересно, а у вас есть репа на hf где можно какие-то открытые варианты обученной модели и открытые сеты данных посмотреть? (амазон например делится подобными данными)
потеря конфиденциальных данных при передаче в модель работающую на коммунальном железе - бесценна... но конечно можно только позавидовать человеку который может собрать себе в лабу машину с парой 4090 48gb VRAM просто поборов жабу (С) - 96gb VRAM....их ещё пойди найди в таком конфиге.
Использую для тестирования моделей - MMLU Pro в варианте который может по open ai api подключаться , конкретно https://github.com/chigkim/Ollama-MMLU-Pro , но в целом есть набор подобных . Не то что бы мегасупер но ничего лучше не нашел. Датасеты можно свои делать под домен.
А почему именно LiteLLM а как api gw а не BiFrost ? Бифрост вроде пошустрее , в целом его пишут с оглядкой на LiteLLM но более "под прод" - чисто ИМХО конечно.
так там dnf - это центос нужно форкать