Как мы ищем документы в Naumen Disk или еще один вариант организации FTS

[Kayten]

Интересная статья, профессионально все изложено. Давно интересовала эта тема. Практически нашлись все ответы на мои вопросы.

[Sonichka]

Как вы определяете язык документа когда текст многоязычный? Стоп слова нужно разных языков использовать же?

[NaumenDisk]

Мы для фильтрации слов (вместо словарей стоп-слов) используем морфологический анализатор  для русского языка  pyMorphy2. Соответственно, если язык слова не русский, то для нормализации применяем Wordnet лемматизатор из NLTK.

[fransua]

Не пробовали префиксное дерево использовать для хранения индекса?

[NaumenDisk]

Не пробовали. В SQL работа с иерархической структурой на столь больших объемах может деградировать по скорости, поэтому древовидные структуры не рассматривали именно для решения этой задачи.

[iurinmikhail]

А если в поиск ввести именованные сущности, как организован их поиск? Например: Екатеринбург или Naumen

[NaumenDisk]

При вводе значений в поисковую строку поведение системы всегда одинаково, работает полнотекстовый поиск. Что касается задачи NER (Named Entity Recognition), то для этого подходит фасетный поиск, т.е. через фильтры. Естественно, фильтры у нас тоже есть. Задачу NER нам приходилось решать, можно значения фильтров наполнять распознанными по тексту именованными сущностями.