Всем привет! Меня зовут Данила, я выполняю роль SR-инженера в Usetech. В этой статье я бы хотел рассказать о 4-х способах, которые помогут сократить объём ваших индексов в Elasticsearch.

Прежде всего статья будет полезна начинающим специалистам по администрированию ELK стека, администраторам систем мониторинга, разработчикам, внедряющим ELK стек у себя на проекте. 

Работая над мониторингом в одном из проектов мы столкнулись с тем, что временной промежуток, за который мы имеем возможность хранить данные, для нас недостаточен, т.к. хотелось иметь возможность сравнивать работу системы за больший период времени.

Мы видели 2 пути решения проблемы:

На прошлой неделе Elastic объявила, что изменит свою стратегию лицензирования программного обеспечения и не будет выпускать новые версии Elasticsearch и Kibana под лицензией Apache, версия 2.0 (ALv2). AWS заявила, что предпримет шаги для создания и поддержки форков Elasticsearch и Kibana.

Компания Amazon Web Services (AWS) выполнила обязательства и переименовала форк Amazon Elasticsearch Service в Amazon OpenSearch Service, поскольку ранее AWS и Elasticsearch BV поссорились из-за лицензирования программного обеспечения с открытым исходным кодом Elasticsearch.

Напомним, Amazon запустила сервис аналитики и мониторинга в 2015 году, что привело к конкуренции с Elasticsearch BV, компании, созданной для коммерциализации проекта.

Elasticsearch BV получила публичный статус в 2018 году. Годом позже AWS фактически заново создал проект Elasticsearch, выпустив собственную версию программного обеспечения под названием Open Distro for Elasticsearch.

В ответ на это Elasticsearch BV подала иск на Amazon из-за неправомерного использования копирайта. Судебные разбирательства все еще не завершены.

В январе 2021 года генеральный директор и соучредитель Elasticsearch BV Шей Бэнон объявил, что проекты ElasticSearch и Kibana откажутся от лицензии Apache 2.0 с открытым исходным кодом в пользу Elastic и общедоступной серверной лицензии без открытого исходного кода (SSPL).

Компания Arenadata завершила финальное тестирование нового продукта на базе технологии Elasticsearch — Arenadata LogSearch 1.0. (ADLS). Это один из первых продуктов на российском рынке, который обеспечивает быстрый доступ к технологии Elasticsearch и возможность работать с ней в гетерогенной ИТ-инфраструктуре (bare-metal, clouds, multi-clouds). 

Arenadata LogSearch — это масштабируемая отказоустойчивая система, предназначенная для анализа и полнотекстового поиска. Технология Elasticsearch была разработана для полнотекстового поиска на базе библиотеки Apache Lucene. Основной функциональной особенностью библиотеки является обеспечение масштабируемой и высокоскоростной индексации данных (создание объектов внутри базы данных, соответствующих определённым критериям поиска). Подобные системы особенно актуальны, когда необходим поиск по сложным запросам: поиск фраз, включающих разные части речи или поиск по географическим координатам.

Приглашаем на Search meetup от СберМегаМаркет

Первый митап от команды разработки СберМегаМаркета! Соберемся в офлайне и онлайне и обсудим поисковые технологии.

Событие состоится в гибридном формате, встречаемся в пространстве Старт Хаб на Красном Октябре.Если вы не сможете приехать очно — ждем вас в онлайне (этот вариант можно выбрать при регистрации и мы пришлём вам ссылку и напоминание). 

Чтобы посетить событие, нужно зарегистрироваться

Исследователи безопасности из Cybernews обнаружили, что поставщик услуг бесплатной виртуальной частной сети Bean VPN слил личную информацию о миллионах своих пользователей. Они нашли в сети базу данных с более чем 18 ГБ журналов подключений, созданных приложением.

Привет! В эту субботу (2 июля) в 10:00 по Москве ульяновский чат соберется на второй митап. Первый митап прошел в октябре 2020 года, поэтому грядет по-настоящему большое событие для местного сообщества.

Трансляцию митапа можно будет найти на нашем канале и на канале ulskPHP. А если вы в Ульяновске или рядом — еще можно зарегистрироваться на оффлайн.

В программе 5 докладов:

В Китае из бесплатного VPN-сервиса Airplane Accelerates слили базу данных пользователей на 5,7 млн записей. База содержит IP-адреса, домены, идентификаторы и временные метки пользователей. Об этом заявляет портал Cybernews. Специалисты по кибербезопасности обнаружили 7 июля 2022 года в свободном доступе экземпляр ElasticSearch. Он содержал журнал VPN-подключений весом 626 ГБ.

Менеджер индексов Curator позволяет создавать, удалять и отключать индексы Elasticsearch, а также создавать и удалять снапшоты. Оригинальный Curator хорошо работает с OpenDistro, однако наша попытка использовать его с поисковой системой OpenSearch провалилась: оказалось, что Curator ее не поддерживает. Поэтому мы создали curator-opensearch — форк Curator’а, адаптированный для OpenSearch.

Сегодня мы рады объявить, что Manticore Search 6.0.0 наконец вышел! Мы потратили на его создание более полугода, вложили огромное количество сил и написали более 80 000 строк кода.

• Скорость
• Простота установки и настройки
• Цена (желательно бесплатно и с открытым кодом)
• Обмен информацией в формате JSON (по HTTP)
• Масштабируемость (возможность распределения на несколько серверов)
• Индексация в режиме реального времени
• Multi-tenancy (гибкость в настройках под индивидуального пользователя)
• Возможность переноса системы в облако

Вместо вступления