«В активном поиске»: как мы выбирали поисковый механизм для DLP-системы

[donRumatta]

Один индекс можно было обновлять только в один поток

А когда вы ушли со Sphinx-a? Мы используем realtime-индексы и (ре-)индексируем параллельно нужным кол-вом воркеров.

В частности, Elastic Search поддерживал распределенную архитектуру.

Опять же в Sphinx у нас активно используются distibuted-индексы для разбиения на сегменты (разнесение на разные сервера, параллельный поиск в сегментах), в планах поднять зеркала для ha. Или тут речь о чем-то другом?

поиск применяется к огромным архивам DLP для такой специфической и сложной задачи, как расследование инцидентов информационной безопасности

Главный вопрос: расскажите немного, в чем специфика? У вас много полей, но с коротким содержимым? Или чем мешала заточенность Sphinx-а на веб-ресурсы, в чем она выражена?