Как стать автором
Обновить

Как мы делали подсказки в продукте для корпоративного поиска на базе Elasticsearch

Время на прочтение3 мин
Количество просмотров2.8K

Казалось бы поисковые подсказки (автокомплит) простая и понятная вещь, реализованная во множестве проектов и работающая из коробки. 

Как бы не так. 

Под катом расскажем про существующие подходы, их ограничения, и как мы вышли из положения для реализации подсказок в продукте для корпоративного поиска Content AI Intelligent Search

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии1

Observability. Часть 1, про логи

Уровень сложностиПростой
Время на прочтение15 мин
Количество просмотров5.8K

"Пираты журнального моря"

Автор — Игорь Овсянников, декабрь 2023 г. DevOps инженер в GFN.AM, преподаватель курса DevOps в OTUS.

Каждый раз, решая инцидент или аварию в инфраструктуре, я задумывался: а можно ли было это предусмотреть? Можно ли было быстрее узнать о проблеме, самостоятельно, а не от недовольных клиентов? Сейчас я считаю, что можно, с хорошо настроенным мониторингом и observability pipelines.

Этот материал — первая часть цикла статей о том, из чего и как выстраивать систему наблюдаемости приложений и инфраструктуры. В первых частях я буду рассказывать о логах, какие они бывают, и как их собирать и визуализировать с помощью разных инструментов.

Читать далее
Всего голосов 13: ↑12 и ↓1+11
Комментарии6

Х5 Backend Meetup #3

Время на прочтение2 мин
Количество просмотров1.3K

Колёса нашего технологического велосипеда снова готовы вращаться! Приглашаем вас 1 февраля в 19:00 на третий Backend Meetup от X5 Tech. На этот раз мы снова собираем наше бэкенд-сообщество, чтобы обсудить 4 доклада от специалистов по Python и Java. Ждём вcех в пространстве "Весна" и онлайн-трансляции на YouTube!

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

Вышло обновление 1.7.0 для фреймворка, ускоряющего работу с инфраструктурой

Время на прочтение1 мин
Количество просмотров716

Всем привет!

Мы анонсируем выход новой версии инструмента для развертывания инфраструктуры в облаке Yandex Cloud — KulebiaC 1.7.0.

Используя его, DevOps-инженеры могут почти вдвое сократить трудозатраты на развертывание и описание облачной инфраструктуры. 

Читать далее
Всего голосов 8: ↑8 и ↓0+8
Комментарии0

Публичные данные 1,2 млрд пользователей были обнаружены на открытом Elasticsearch-сервере

Время на прочтение3 мин
Количество просмотров13K


Согласно информации издания Wired, специалисты в области информационной безопасности Винни Троя (Vinny Troia) и Боб Дьяченко (Bob Diachenko) обнаружили в сети открытый Elasticsearch-сервер, содержащий 1,2 млрд записей общим размером четыре терабайта. Сервер был расположен на площадке Google Cloud Service (у него был IP-адрес 35.199.58.125).
Читать дальше →
Всего голосов 21: ↑20 и ↓1+19
Комментарии14

Как ELK довел нас… до Vector.dev и Clickhouse

Уровень сложностиСложный
Время на прочтение7 мин
Количество просмотров2K

Меня зовут Дима Синявский, я SRE-инженер в Vi.Tech — это IT-дочка ВсеИнструменты.ру. В этой статье расскажу я вам о том как мы развивались и с нами развивалась наша система логирования. Почему вам нужен Vector.dev + Clickhouse для хранения и когда это выгодно.

Когда компания была маленькой нам хватало и блокнота, чего сейчас уже не скажешь.
У нас 931 000 пайплайнов в месяц, 4 кластера Kubernetes: от 170 до 190 нод в каждом, и 200 ГБ логов ежедневно.

cat elk-vector.md | more // Прочитать...
Всего голосов 16: ↑18 и ↓-2+20
Комментарии10

Поиск по коду — это сложно

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.9K

Функциональность поиска на Val Town не очень впечатляет. Сейчас в её основе лежит механизм ILIKE Postgres, работающий на основе алгоритма поиска подстроки: если искомое выражение в коде есть, оно выводится в результатах. Этот процесс не включает никакого ранжирования, и очень слабо поддерживает запросы из нескольких слов. Более эффективный поиск является одной из самых желанных для нас возможностей.
Читать дальше →
Всего голосов 26: ↑31 и ↓-5+36
Комментарии3

Создание карты подключений Elasticsearch + Fluent Bit + Nginx Ingress Controller

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров2.3K

Данная статья представляет подход к решению задачи сбора и агрегации метрик от Ingress Nginx Controller для извлечения геоданных с помощью GeoIP2 и их визуализации в Elasticsearch.

Читать далее
Всего голосов 2: ↑3.5 и ↓-1.5+5
Комментарии1

Внедрение Elasticsearch с Ruby on Rails для расширенного поиска

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров1.4K

Elasticsearch - это поисковый движок, который позволяет в реальном времени работать с огромными объемами данных. Он основан на Lucene и предлагает не только полнотекстовый поиск, но и сложные запросы к данным, включая агрегацию.

Ruby on Rails — это фреймворк, который делает акцент на скорости и простоте разработки. Используя принципы convention over configuration и DRY, Rails позволяет сосредоточиться на уникальной логике приложения, минимизируя количество шаблонного кода.

В статье рассмсотрим как использовать Elasticsearch вместе с Ruby on Rails для реализации поиска внутри приложения.

Читать далее
Всего голосов 14: ↑11 и ↓3+8
Комментарии2

Интеграция Поиска в Strapi: Meilisearch vs. Elasticsearch

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров1.6K

Всем привет! На связи Геворг, фронтенд техлид Work Solutions. Сегодня расскажу про интеграцию поисковых сервисов Meilisearch и Elasticsearch в Strapi.

Strapi — это популярный open-source фреймворк для разработки серверов, а также создания гибких API. Однако, встроенные средства поиска могут быть ограничены. Разработчики могут искать способы интеграции с внешними поисковыми системами. Две такие системы — Meilisearch и Elasticsearch. Они предоставляют возможность реализации полноценного поиска в проектах.

В статье рассмотрим, как интегрировать эти системы, сравним их особенности, определим, для каких задач подходят. Примеры рассматриваются для strapi v3. Однако информация также актуальна для v4 с некоторыми незначительными различиями в интерфейсах взаимодействия.  

На сайте компании можно посмотреть как работает поиск Meilisearch в Strapi в продакшне. Там же делимся особенностями реализации поиска в нашем блоге. Подробно сравниваем Meilisearch и Elasticsearch, способы их реализации, демонстрируем ограниченность встроенного поиска.

Читать далее
Всего голосов 5: ↑4 и ↓1+3
Комментарии0

Как использовать Elasticdump с Manticore

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров819

Elasticdump - это инструмент для управления и миграции данных в Elasticsearch. Elasticdump позволяет пользователям перемещать и сохранять индексы, экспортируя данные в файл JSON, а затем импортируя их в другое место. Эта функциональность особенно полезна для целей резервного копирования и восстановления, а также для миграции данных между различными средами (например, из разработки в продакшн).

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Как научить поиск мобильного приложения распознавать точные и ошибочные запросы

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров695

Привет, Хабр! Меня зовут Алексей Кокухин, я бэкенд-разработчик в Friflex. Мы создаем сайты и мобильные приложения и специализируемся на решениях для ритейла. Для наших клиентов конверсия в покупку — значимая метрика, поэтому мы постоянно изучаем, какие факторы на нее влияют.

Часто пользователи уходят просто потому, что поиск не смог распознать их запрос. По статистике Baymard Institute, проблемы с распознаванием поисковых запросов есть почти у каждого второго онлайн-магазина. В этой статье предлагаю разобраться, как настроить поиск мобильного приложения, чтобы он распознавал два самых популярных вида запроса — точные и ошибочные.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии1

SQL в качестве API

Уровень сложностиСложный
Время на прочтение11 мин
Количество просмотров13K


SQL в API??? 

Верно, вы уже успели подумать: «это же безумие, предоставлять API, который принимает SQL». Да, это ужасная идея. Особенно, если API обращён к Интернету. Делать так небезопасно, вы напрашиваетесь на атаки в виде SQL-инъекций. Поддержка такого интерфейса превратится в кошмар, а сама реализация бэкенда будет замкнута на конкретную технологию (это будет какая-нибудь база данных ANSI SQL).

Но справедливо ли такое суждение? Время его пересмотреть!
Читать дальше →
Всего голосов 46: ↑43 и ↓3+40
Комментарии40

Arenadata выпустила новый продукт на базе Elasticsearch

Время на прочтение2 мин
Количество просмотров1.6K

Компания Arenadata завершила финальное тестирование нового продукта на базе технологии Elasticsearch — Arenadata LogSearch 1.0. (ADLS). Это один из первых продуктов на российском рынке, который обеспечивает быстрый доступ к технологии Elasticsearch и возможность работать с ней в гетерогенной ИТ-инфраструктуре (bare-metal, clouds, multi-clouds). 

Arenadata LogSearch — это масштабируемая отказоустойчивая система, предназначенная для анализа и полнотекстового поиска. Технология Elasticsearch была разработана для полнотекстового поиска на базе библиотеки Apache Lucene. Основной функциональной особенностью библиотеки является обеспечение масштабируемой и высокоскоростной индексации данных (создание объектов внутри базы данных, соответствующих определённым критериям поиска). Подобные системы особенно актуальны, когда необходим поиск по сложным запросам: поиск фраз, включающих разные части речи или поиск по географическим координатам.

Читать далее
Всего голосов 5: ↑4 и ↓1+3
Комментарии4

Elastic меняет лицензии Elasticsearch и Kibana c Apache 2.0 на SSPL

Время на прочтение2 мин
Количество просмотров16K


14 января 2021 года Elastic объявила об изменении правил лицензирования своих продуктов. Новые версии платформы поиска, анализа и хранения данных Elasticsearch и web-интерфейса Kibana будут распространяться под несвободной лицензией SSPL 1.0 (Server Side Public License). Ранее они были под лицензией Apache 2.0.
Читать дальше →
Всего голосов 15: ↑13 и ↓2+11
Комментарии25

Amazon объявила о запуске форков Elasticsearch и Kibana

Время на прочтение2 мин
Количество просмотров5.6K

На прошлой неделе Elastic объявила, что изменит свою стратегию лицензирования программного обеспечения и не будет выпускать новые версии Elasticsearch и Kibana под лицензией Apache, версия 2.0 (ALv2). AWS заявила, что предпримет шаги для создания и поддержки форков Elasticsearch и Kibana.

Читать далее
Всего голосов 13: ↑4 и ↓9-5
Комментарии8

В сети был обнаружен зарубежный сервер Elasticsearch с базой СМС-сообщений, якобы, с номера 900, сейчас данные стерты

Время на прочтение2 мин
Количество просмотров19K


По информации телеграм-канал «Утечки иформации», в сети Интернет с 12 июня 2021 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения, предположительно, отправленные с номера 900.

Комментарий от «Сбера» для Хабра: «компания провела проверку и выяснила, что это фейковые данные и они не имеют отношения к клиентам банка».
Читать дальше →
Всего голосов 26: ↑25 и ↓1+24
Комментарии19

Amazon переименовала Elasticsearch Service в OpenSearch Service

Время на прочтение2 мин
Количество просмотров3.3K

Компания Amazon Web Services (AWS) выполнила обязательства и переименовала форк Amazon Elasticsearch Service в Amazon OpenSearch Service, поскольку ранее AWS и Elasticsearch BV поссорились из-за лицензирования программного обеспечения с открытым исходным кодом Elasticsearch.

Напомним, Amazon запустила сервис аналитики и мониторинга в 2015 году, что привело к конкуренции с Elasticsearch BV, компании, созданной для коммерциализации проекта.

Elasticsearch BV получила публичный статус в 2018 году. Годом позже AWS фактически заново создал проект Elasticsearch, выпустив собственную версию программного обеспечения под названием Open Distro for Elasticsearch.

В ответ на это Elasticsearch BV подала иск на Amazon из-за неправомерного использования копирайта. Судебные разбирательства все еще не завершены.

В январе 2021 года генеральный директор и соучредитель Elasticsearch BV Шей Бэнон объявил, что проекты ElasticSearch и Kibana откажутся от лицензии Apache 2.0 с открытым исходным кодом в пользу Elastic и общедоступной серверной лицензии без открытого исходного кода (SSPL).

Читать далее
Всего голосов 10: ↑10 и ↓0+10
Комментарии0

Эксперты обнаружили сервер Elasticsearch с содержимым СМС-сообщений от сервисов и банков, включая «Тинькофф» и «Озон»

Время на прочтение2 мин
Количество просмотров62K


По информации телеграм-канала «Утечки иформации», в сети Интернет с 1 апреля 2022 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения от различных российских и зарубежных сервисов и банков.
Читать дальше →
Всего голосов 31: ↑30 и ↓1+29
Комментарии125

Представляем curator-opensearch: инструмент с открытым кодом для работы с индексами в OpenSearch

Время на прочтение2 мин
Количество просмотров2.3K

Менеджер индексов Curator позволяет создавать, удалять и отключать индексы Elasticsearch, а также создавать и удалять снапшоты. Оригинальный Curator хорошо работает с OpenDistro, однако наша попытка использовать его с поисковой системой OpenSearch провалилась: оказалось, что Curator ее не поддерживает. Поэтому мы создали curator-opensearch — форк Curator’а, адаптированный для OpenSearch.

Читать далее
Всего голосов 25: ↑25 и ↓0+25
Комментарии4
1
23 ...