Logstash, Manticore, Nginx и Symfony: сбор, агрегация и быстрый поиск логов

Спасибо за статью!

Manticore Search 6

Эта проблема уже решена, готовим к релизу.

Зарелизили 6.0.4 - https://manual.manticoresearch.com/Changelog

Manticore Search 6

Темпоральных таблиц в планах нет :( Никогда об этом даже не думали.

Manticore Search 6

Grafana: всё ещё в планах. Сделали Manticore Buddy, через который задача решится проще. С mysqldump, например, всё получается.
Логи в Мантикору можно загружать из logstash или напрямую из beats, т.е. Мантикора умеет прикидываться Эластиком в плане запросов на запись данных. Но в Manticore 6 требуется сперва создать таблицу. Понятно, что это весьма неудобно для логов. Эта проблема уже решена, готовим к релизу.

Manticore — альтернатива Эластику на C++ с 21-летней историей

Да. И Ё->Е из коробки поддерживается, а Й->И нет, т.к. ситуация тут совсем другая, чем с Ё.

Поэкспериментировать с дефолтными настройками можно так:

mysql> drop table if exists t; create table t(f text); call keywords('Ё ё Й й', 't');
Query OK, 0 rows affected (0.03 sec)

Query OK, 0 rows affected (0.04 sec)

+------+-----------+------------+
| qpos | tokenized | normalized |
+------+-----------+------------+
| 1    | е         | е          |
| 2    | е         | е          |
| 3    | й         | й          |
| 4    | й         | й          |
+------+-----------+------------+
4 rows in set (0.00 sec)

Manticore — альтернатива Эластику на C++ с 21-летней историей

Ваш пример непонятен:

• filter1/2 - что это? "filter" или это такие имена агрегаций просто

• "terms" в трёх местах на трёх уровнях - что это?

То ли вы имеете в виду multi_terms, то ли что-то ещё. Не хочу гадать. Если вы приведёте конкретный пример в синтаксисе Эластика, то я постараюсь сконвертировать его в SQL и буду рад, если это не удастся сделать. Значит будет повод задуматься о расширении синтаксиса.

Manticore — альтернатива Эластику на C++ с 21-летней историей

А можно конкретный пример что можно через JSON и нельзя через SQL?

Manticore — альтернатива Эластику на C++ с 21-летней историей

Что вы подразумеваете под неподдержкой schemaless в Manticore?

Подразумеваю автодетект типов полей на основании первого документа (и возможную корректировку через какое-то время, есть такая идея)

Получается, в Manticore нельзя добавить поле realtime или всего лишь нет автодобавления нового поля?

Поле добавить можно. Автодетекта типа нет.

Вся красота JSON — в аналитике, позволяющая строить многоэтажные агрегации, которые ко всему прочему легко машиночитаемы

Согласен, поэтому для поиска в Мантикоре JSON нормальный. Nested boolean query вот добавили в последней версии https://manual.manticoresearch.com/Searching/Filters#Nested-bool-query
А для управления нодой пока что SQL через mysql и через HTTP (/sql?mode=raw)

Manticore — альтернатива Эластику на C++ с 21-летней историей

Вот статья на английском https://manticoresearch.com/blog/manticore-alternative-to-elasticsearch/

Manticore — альтернатива Эластику на C++ с 21-летней историей

Будет ли клиент для .NET/C#?

Бета уже есть https://github.com/manticoresoftware/manticoresearch-net
Скажите, если хотите помочь с тем чтоб сделать его GA, там чуть-чуть осталось.

есть ли алиасы как в elasticsearch

Есть, но называется по-другому и требуется несколько миллисекунд на переключение:

snikolaev@dev:~$ time mysql -P9306 -h0 -e "drop table if exists alias; create table alias type='distributed' local='t2';"

real	0m0.011s
user	0m0.010s
sys	0m0.000s

Manticore — альтернатива Эластику на C++ с 21-летней историей

Вариант на английском будет на блоге на днях.

планируете ли в дополнение к стандартному и enterprise планам SaaS-решение? А еще лучше managed-solution

Да, планируем и то и то, уже есть некоторые наработки.

Manticore — альтернатива Эластику на C++ с 21-летней историей

256 полнотекстовых полей и несколько тысяч атрибутов.

Я догадываюсь почему про Эластик может быть такая рекомендация - из-за ограничения на количество файловых дескрипторов. На Мантикор это ограничение действует аналогично: каждый индекс съедает сколько-то файловых десрипторов, если индексов очень много - они могут кончиться. В остальном же не вижу причин рекомендовать в Мантикоре держать всё в одном индексе, когда требуется делать иначе.

Manticore — альтернатива Эластику на C++ с 21-летней историей

Ну нормализация это что в вашем понимании? Стемминг? Лемматизация? Превращение html в простой текст? Что-то ещё? Разные вещи по-разному влияют на перф. Если приведёте пример конкретного normalizer'а в Эластике, то будет проще.

Manticore — альтернатива Эластику на C++ с 21-летней историей

Что конкретно вы имеете в виду под нормализацией?

Manticore — альтернатива Эластику на C++ с 21-летней историей

Всё так. Вот поэтому мы это и не осилили пока.

Manticore — альтернатива Эластику на C++ с 21-летней историей

Категорически поддерживаю. Если можем как-то помочь с написанием статей (консультацией и т.п.), то будем рады это сделать.

Manticore — альтернатива Эластику на C++ с 21-летней историей

В том-то и фишка нашего сборочного докера, что собирать можно в линуксе. Sysroot'ы от всех систем уже готовы https://repo.manticoresearch.com/repository/sysroots/roots_with_zstd/ , что делает возможным такой трюк. Мы даже под винду собираем под линуксом.

Manticore — альтернатива Эластику на C++ с 21-летней историей

Через сборочный докер собираться должно легко. Вручную искать какие-то либы и пр. не нужно, всё уже в докере.

Manticore — альтернатива Эластику на C++ с 21-летней историей

FreeBSD ограниченно поддерживается. Наш CI проверяет, что Мантикора собирается под FreeBSD, но автотесты не делаются. Пакетирование мы тоже пока не осилили. Но вручную собрать можно, вот инструкция https://manual.manticoresearch.com/dev/Installation/Compiling_from_sources#Building-using-CI-docker .

Manticore — альтернатива Эластику на C++ с 21-летней историей

Да, вы правильно понимаете. Чего-то типа Кибаны у Мантикоры, т.к. мы решили не изобретать велосипед, т.к. имеющиеся и так достаточно хорошо ездят. Так что:

• про интеграцию с Кибаной сказано в статье

• интеграция с графаной тоже в планах