да, contextual retrieval. В данном случае я использовал локальную модель для генерации. Вышло примерно 12 часов на 46000 чанков. Про гибрид, все верно, лексика +/- однородная поэтому и результаты не изменились. В этом и смысл, что перед тем как что-то добавить, провеить а нужно ли. По реранкеру использовал k=50, но в модель попадает только k=5. В результате большинсиво реранкеров не дало осязаемого эффекта, так как топ 5 оставались преженими для модели. То что некоторые переехали с 34 позиции на 10 не имеет значения.
да, contextual retrieval. В данном случае я использовал локальную модель для генерации. Вышло примерно 12 часов на 46000 чанков. Про гибрид, все верно, лексика +/- однородная поэтому и результаты не изменились. В этом и смысл, что перед тем как что-то добавить, провеить а нужно ли. По реранкеру использовал k=50, но в модель попадает только k=5. В результате большинсиво реранкеров не дало осязаемого эффекта, так как топ 5 оставались преженими для модели. То что некоторые переехали с 34 позиции на 10 не имеет значения.