PashaPodolsky 21 мар 2021 в 10:56

Устройство поисковых систем: базовый поиск и инвертированный индекс

24 мин

24K

Поисковые технологии*Программирование*Анализ и проектирование систем*Алгоритмы*Rust*

+37

Комментарии 6

qw1 21 мар 2021 в 19:43

Это всё на примере Lucene. А есть ещё Sphinx, может там тоже есть интересные идеи?

PashaPodolsky 21 мар 2021 в 20:52

С исходным кодом Tantivy/Lucene я работал, а со Sphinx'овым — нет. Поэтому такой перекос в статье. Кроме того, Sphinx последних версий есть только в виде бинарников, shodan унес его разработку в Авито. И что там за интересные идеи теперь можно только дизассемблером узнать.

Если нужна парочка интересных идей кроме уже реализованных в Lucene, то их есть у меня. Для изучения схем компрессии посмотрите документацию проекта PISA. Там же можно подглядеть дальнейшее развитие алгоритма BMW.

ManticoreSearch 22 мар 2021 в 12:27

Если интересно, статья про активно разрабатываемый форк Sphinx'а тут https://habr.com/ru/post/541126

snakers4 22 мар 2021 в 09:11

Есть еще прекрасный технический блог от людей кто построил свой независимый поисковый движок — https://0x65.dev/ — правда с предсказуемым результатом (потратили несколько сотен миллионов долларов, был очень странный маркетинг, поиск работал, но отставал сильно)