Знакомство с Elasticsearch step by step

Здравствуйте!
Сегодня мы поговорим о движке полнотекстового поиска Elasticsearch (далее ES), с которым
работает платформа Docsvision 5.5.

1. Установка

Скачать актуальную версию можно по ссылке: www.elastic.co/downloads/elasticsearch
Скриншот установщика ниже:

2. Проверка работоспособности

После завершения установки перейдите по адресу
http://localhost:9200/
Должна отобразиться страница с состоянием ES, пример ниже:



Если страница не открылась, убедитесь, что сервис Elasticsearch запущен. В Windows это
служба Elasticsearch.

3. Подключение к Docsvision

Подключение к Elasticsearch настраивается на странице сервиса полнотекстового
индексирования.


Здесь нужно указать:
1. Адрес сервера Elasticsearch (задаётся при установке).
2. Строку подключения к СУБД.
3. Адрес Docsvision (в формате ConnectAddress=http://SERVER/DocsVision/StorageServer/StorageServerService.
asmx)
4. На вкладке «Карточки» и «Справочники» необходимо настроить те данные, которые
нужно индексировать.
Также нужно убедиться, что учётная запись, под которой запущена служба Docsvision
Fulltext Indexing service, имеет доступ к БД Docsvision на MS SQL.
После подключения нужно убедится, что в БД MS SQL создались задания с префиксом:
«DV:FullText_<ИМЯБД>_CardWithFilesPrepareRange»


После завершения настроек в Windows-клиенте будет разблокирована строка поиска.

4. REST API Elastic

Администратор может получить различную информацию о работе Elasticsearch с помощью
предоставляемого REST API.
В следующих примерах мы будем использовать Insomnia Rest Client.

Получение общей информации

Как только служба запустилась и заработала (http://localhost:9200/ в браузере), можно
выполнить запрос:
http://localhost:9200/_cat/health?v

Получим ответ о состоянии службы Elasticsearch (в браузере):

Ответ о состоянии в Insomnia:

Обратим внимание на Status — Green, Yellow, Red. Официальная документация говорит о статусах следующее:
• Green — Все хорошо (Кластер полностью работоспособен)
• Yellow — Все данные доступны, но некоторые реплики в кластере пока что не выделены для их
• Red — Часть данных недоступна по любой причине (сам кластер функционирует нормально)
Получение состояний о нодах в кластере и их состояние (у меня 1 нода):
http://localhost:9200/_cat/nodes?v


Все индексы (indices) ES:
http://localhost:9200/_cat/indices?v


Кроме индексов от Docsvision, могут быть и индексы других приложений — heartbeat,
kibana — если вы их используете. Нужные от ненужных можно отсортировать. Например,
возьмём только индексы, в имени которых есть %card% в названии:
http://localhost:9200/_cat/indices/*card*?v&s=index

Конфигурация Elasticsearch

Получение настроек Elasticsearch:
http://localhost:9200/_nodes
Результат будет довольно обширный, в том числе пути к логам:


Как узнать список индексов, мы уже знаем, Docsvision делает это автоматически, давая имя индексу в формате:
<имябд+видИндексируемойКарточки>
Также можно создать собственный независимый индекс:
http://localhost:9200/customer?pretty
Только это будет не GET, а PUT запрос:


Результат:


следующий запрос покажет все индексы, в том числе и новые (customer):
http://localhost:9200/_cat/indices?v

5. Получение информации об индексированных данных

Состояние индексов Elasticsearch

После того как первоначальная настройки со стороны Docsvision проведена, служба должна быть готова к работе и началу индексирования данных.
Прежде всего проверим, что индексы заполняются и их размер больше стандартных «байтов» уже знакомым нам запросом:
http://localhost:9200/_cat/indices?v
в результате видим: проиндексировано 87 «заданий» и 72 «документа» если говорить в терминах нашей СЭД:


Спустя некоторое время, результаты такие (по умолчанию job индексирования запускается через каждые 5 минут):


Видим что количество документов увеличилось.

Как понять, что нужная карточка проиндексирована?

• Во-первых, нужно убедиться, что тип карточки в Docsvision совпадает с указанными в настройках Elascticsearch данными.
• Во-вторых, дождаться индексации массива карточек — при попадании в Docsvision должно пройти некоторое время до появления данных в хранилище.
• В-третьих, можно поискать карточку по CardID. Сделать это можно запросом:

http://localhost:9200/_search?q=_id=2116C498-9D34-44C9-99B0-CE89465637C9

В случае если карточка есть в хранилище, мы увидим её «сырые» данные, в случае если нет, увидим примерно такой ответ:

Поиск карточки в ноде Elasticsearch

Найти документ по точному совпадению поля Description:
http://localhost:9200/_search?q=description: Исходящий tv1
Результат:


поиск документа, у которого в Description есть вхождение 'Входящий'
http://localhost:9200/_search?q=description like Входящий
Результат:


Поиск карточки по содержимому приложенного файла


Найдём все карточки типа документ:
http://localhost:9200/_search?q=_type:CardDocument

или все карточки вида задания:
http://localhost:9200/_search?q=_type:CardTask

Используя конструкции and и параметры, которые отдаёт Elasticsearch в виде JSON можно собрать такой запрос:
http://localhost:9200/_search?q=_type:CardTask and Employee_RoomNumber: Орёл офиc and Employee_FirstName:Konstantin

Он покажет все карточки типа задания, среди пользователей у которых FirstName = Konstantin, и находящихся в Орёл Офис.
Кроме LIKE есть и другие задокументированные параметры:
unlike, fields, docs, content и т.д.
Все они описаны тут.

На сегодня всё!

#docsvision #docsvisionECM

Полезные ссылки:

1. Insomnia Rest client https://insomnia.rest/download/#windows
2. https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-get.html
3. https://www.elastic.co/guide/en/elasticsearch/reference/1.4/_exploring_your_data.html
4. https://stackoverflow.com/questions/50278255/elasticsearch-backup-on-windows-and-restore-on-linux
5. https://z0z0.me/how-to-create-snapshot-and-restore-snapshot-with-elasticsearch/
6. https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-mlt-query.html#_document_input_parameters
7. http://qaru.site/questions/15663281/elasticsearch-backup-on-windows-and-restore-on-linux