Подскажите, сталкивались ли вы с проблемой векторного поиска. узостью конуса при однородности корпуса? ( Все записи в векторной базе (LanceDB) стилистически и лексически очень однородны (рефлексия от первого лица на русском языке). Из-за этого возникла проблема узкого конуса (анизотропии) — косинусное расстояние между совершенно разными по смыслу воспоминаниями почти одинаковое, поиск выдает шум ) Хочу внедрить архитектуру памяти V2 с новым слоем фильтрации/активации. Как лучше разжать это векторное пространство на русском языке: менять модель эмбеддингов, прикручивать поверх жесткий реранкер (Reranker), уходить в гибридный поиск или менять саму структуру чанков?
Подскажите, сталкивались ли вы с проблемой векторного поиска. узостью конуса при однородности корпуса? ( Все записи в векторной базе (LanceDB) стилистически и лексически очень однородны (рефлексия от первого лица на русском языке). Из-за этого возникла проблема узкого конуса (анизотропии) — косинусное расстояние между совершенно разными по смыслу воспоминаниями почти одинаковое, поиск выдает шум ) Хочу внедрить архитектуру памяти V2 с новым слоем фильтрации/активации. Как лучше разжать это векторное пространство на русском языке: менять модель эмбеддингов, прикручивать поверх жесткий реранкер (Reranker), уходить в гибридный поиск или менять саму структуру чанков?