Comments 15
Кайфанул, спасибо?
Крутой материал, спасибо!
Если собирать контейнеры из России, то сборка упадет на образе logstash, так как docker.elastic.co блочит подключения. Либо это локальная проблема
Хотелось бы подобнее узнать про связку pg + elastic. Исходя из описания мы записываем в pg, потом у нас идет перенос данных в elstic. Но в примере из гита мы пишем напрямую в elastic. В целом, нужен ли тут pg, почему бы не писать данные сразу в elastic?
да, подключение действительно блочит, для подгрузки можно воспользоваться vpn (забыл указать это в статье, вскоре дополню. Спасибо за замечание!)
"Хотелось бы подобнее узнать про связку pg + elastic. Исходя из описания мы записываем в pg, потом у нас идет перенос данных в elstic. Но в примере из гита мы пишем напрямую в elastic. В целом, нужен ли тут pg, почему бы не писать данные сразу в elastic? " - в конкретном примере у нас происходит обновление данных в соответствии с pg (например , если у нас cqrs: pg - основная база, elastic - база для чтения (засовываем и компонуем туда все самое необходимое)). В примере из гита импорт данных в эластик идет из дампа и обновляется по крону - это лишь абстрактный пример для понимания принципов взаимодействия и возможностей плавной интеграции с pg
Спасибо!
Чтобы не включать VPN, можно воспользоваться образом из докерхаба
https://hub.docker.com/r/opensearchproject/logstash-oss-with-opensearch-output-plugin
А что надо в docker-compose поменять чтобы он завелся? Конфиг у него где-то в другом месте лежит?
Можно просто склонить репу с гита и в композе поменять образ logstash на image: opensearchproject/logstash-oss-with-opensearch-output-plugin:latest
В гите есть все конфиги
обновил статью и гит
2023-10-12T12:32:44,758][ERROR][logstash.inputs.jdbc ][main] Unable to connect to database. Tried 1 times {:message=>"Java::OrgPostgresqlUtil::PSQLException: The connection attempt failed.", :exception=>Sequel::DatabaseConnectionError, :cause=>#<Java::OrgPostgresqlUtil::PSQLException: The connection attempt failed.>, :backtrace=>["org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(org/postgresql/core/v3/ConnectionFactoryImpl.java:354)", "org.postgresql.core.ConnectionFactory.openConnection(org/postgresql/core/ConnectionFactory.java:54)", "org.postgresql.jdbc.PgConnection.(org/postgresql/jdbc/PgConnection.java:263)", "org.postgresql.Driver.makeConnection(org/postgresql/Driver.java:443)", "org.postgresql.Driver.connect(org/postgresql/Driver.java:297)
c docker.elastic.co/logstash/logstash-oss:7.9.1 все работает. Винда, docker desktop
Ну что могу сказать, автор гений.
Почему не взяли мантикор?
Thanks. @RequiredArgsConstructor из UIController наверное можно убрать
Привет, предложение для следующей статьи - Всё то же самое можно сделать через hibernate search, без logstash и вендорлока на elastic/lucene/open search. При чем можно индексировать только нужные поля.
Спасибо, хорошая статья
Используем Elasticsearch вместе со Spring Boot