Векторный поиск внутри PostgreSQL: что умеет и где может пригодиться pgvector

[gorod0k]

Спасибо. Как раз месяц назад задавался вопросом, как хранить ембеддинги лиц для кластеризации

[GrishinAlex]

Благодарю за комментарий, буду продолжать эту тему дальше, подписывайтесь.

[MultiView]

Спасибо, однако все примеры на английском языке, такое впечатление, что используются западные проекты для образца. И кстати, самый важный вопрос - сам процесс векторизации и загрузки векторов текстовых или аудио/видео совсем не раскрыт, формирование вектора на основе документов и датасетов, хотя бы размером несколько сот тысяч вопросов и ответов. Вы не указали, что PGVector не дружит нативно с open-source векторизаторами из huggingface, например популярным E5 Intfloat. Каким образом будет строиться серьезный проект на основе PGVector, ведь основная задача это быстро получить вектор и интегрировать его в Postgresql ? Мы вынуждены были отказаться от этого решения в пользу другого только из-за данных проблем.

[GrishinAlex]

Спасибо за комментарий, согласен с вашим мнением. Поэтому пишу однозначно что лично я считаю что для реально большого и требовательного проекта можно посмотреть другие инструменты и предлогаю рейтинг.

[barloc]

Привет. А что выбрали?

[Programmer74]

Но ведь у PgVector есть поддержка HNSW, на гитхабе в ридми даже написано
https://github.com/pgvector/pgvector

[GrishinAlex]

Спасибо за валидный комментарий. Вы правы. Судя по всему в мае 2024 года в pg_vector действительно появилась поддержка HNSW. И если я правильно понял только для последних версий PG (16 и 17). Еще раз спасибо, я отредактирую статью по следам нашей дискусии.