Привет, Хабр! Меня зовут Таня, я аналитик качества в команде Базы Знаний Just AI. Наша команда занимается разработкой продукта для клиентских баз знаний на основе RAG и созданием таких баз под ключ.

Одной из ключевых задач POC для наших заказчиков является оценка качества и точности ответов системы, а также выбор модели, которая обеспечит эти показатели. 90% точности ответов — одно из основных требований большинства наших клиентов при выборе Базы Знаний. В этом статье я расскажу о том, как мы проводим оценку точности и выбираем модель.