Индексируем миллиарды текстовых векторов

[stilic]

Это что то близкое по применению к Full-Text Search?

[ideological]

Возможно глупый вопрос — но зачем использовать готовые библиотеки?
Можно же было пройтись по базе или pyspark. Для уменьшения памяти можно использовать простейший подход LabelEncoder.