Как стать автором
Обновить

Публичные данные 1,2 млрд пользователей были обнаружены на открытом Elasticsearch-сервере

Информационная безопасность *Поисковые технологии *Социальные сети и сообщества


Согласно информации издания Wired, специалисты в области информационной безопасности Винни Троя (Vinny Troia) и Боб Дьяченко (Bob Diachenko) обнаружили в сети открытый Elasticsearch-сервер, содержащий 1,2 млрд записей общим размером четыре терабайта. Сервер был расположен на площадке Google Cloud Service (у него был IP-адрес 35.199.58.125).
Читать дальше →
Всего голосов 21: ↑20 и ↓1 +19
Просмотры 12K
Комментарии 14

Elastic меняет лицензии Elasticsearch и Kibana c Apache 2.0 на SSPL

Open source *Софт IT-компании


14 января 2021 года Elastic объявила об изменении правил лицензирования своих продуктов. Новые версии платформы поиска, анализа и хранения данных Elasticsearch и web-интерфейса Kibana будут распространяться под несвободной лицензией SSPL 1.0 (Server Side Public License). Ранее они были под лицензией Apache 2.0.
Читать дальше →
Всего голосов 15: ↑13 и ↓2 +11
Просмотры 13K
Комментарии 25

Amazon объявила о запуске форков Elasticsearch и Kibana

Open source *Amazon Web Services *Софт

На прошлой неделе Elastic объявила, что изменит свою стратегию лицензирования программного обеспечения и не будет выпускать новые версии Elasticsearch и Kibana под лицензией Apache, версия 2.0 (ALv2). AWS заявила, что предпримет шаги для создания и поддержки форков Elasticsearch и Kibana.

Читать далее
Всего голосов 13: ↑4 и ↓9 -5
Просмотры 5.2K
Комментарии 8

В сети был обнаружен зарубежный сервер Elasticsearch с базой СМС-сообщений, якобы, с номера 900, сейчас данные стерты

Информационная безопасность *Законодательство в IT IT-компании


По информации телеграм-канал «Утечки иформации», в сети Интернет с 12 июня 2021 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения, предположительно, отправленные с номера 900.

Комментарий от «Сбера» для Хабра: «компания провела проверку и выяснила, что это фейковые данные и они не имеют отношения к клиентам банка».
Читать дальше →
Всего голосов 26: ↑25 и ↓1 +24
Просмотры 19K
Комментарии 19

Amazon переименовала Elasticsearch Service в OpenSearch Service

API *Законодательство в IT IT-компании

Компания Amazon Web Services (AWS) выполнила обязательства и переименовала форк Amazon Elasticsearch Service в Amazon OpenSearch Service, поскольку ранее AWS и Elasticsearch BV поссорились из-за лицензирования программного обеспечения с открытым исходным кодом Elasticsearch.

Напомним, Amazon запустила сервис аналитики и мониторинга в 2015 году, что привело к конкуренции с Elasticsearch BV, компании, созданной для коммерциализации проекта.

Elasticsearch BV получила публичный статус в 2018 году. Годом позже AWS фактически заново создал проект Elasticsearch, выпустив собственную версию программного обеспечения под названием Open Distro for Elasticsearch.

В ответ на это Elasticsearch BV подала иск на Amazon из-за неправомерного использования копирайта. Судебные разбирательства все еще не завершены.

В январе 2021 года генеральный директор и соучредитель Elasticsearch BV Шей Бэнон объявил, что проекты ElasticSearch и Kibana откажутся от лицензии Apache 2.0 с открытым исходным кодом в пользу Elastic и общедоступной серверной лицензии без открытого исходного кода (SSPL).

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 2.2K
Комментарии 0

Arenadata выпустила новый продукт на базе Elasticsearch

Блог компании Arenadata Open source *Big Data *Хранилища данных *Data Engineering *

Компания Arenadata завершила финальное тестирование нового продукта на базе технологии Elasticsearch — Arenadata LogSearch 1.0. (ADLS). Это один из первых продуктов на российском рынке, который обеспечивает быстрый доступ к технологии Elasticsearch и возможность работать с ней в гетерогенной ИТ-инфраструктуре (bare-metal, clouds, multi-clouds). 

Arenadata LogSearch — это масштабируемая отказоустойчивая система, предназначенная для анализа и полнотекстового поиска. Технология Elasticsearch была разработана для полнотекстового поиска на базе библиотеки Apache Lucene. Основной функциональной особенностью библиотеки является обеспечение масштабируемой и высокоскоростной индексации данных (создание объектов внутри базы данных, соответствующих определённым критериям поиска). Подобные системы особенно актуальны, когда необходим поиск по сложным запросам: поиск фраз, включающих разные части речи или поиск по географическим координатам.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 1.4K
Комментарии 4

Эксперты обнаружили сервер Elasticsearch с содержимым СМС-сообщений от сервисов и банков, включая «Тинькофф» и «Озон»

Информационная безопасность *Финансы в IT IT-компании


По информации телеграм-канала «Утечки иформации», в сети Интернет с 1 апреля 2022 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения от различных российских и зарубежных сервисов и банков.
Читать дальше →
Всего голосов 31: ↑30 и ↓1 +29
Просмотры 61K
Комментарии 125

Приглашаем на Search meetup от СберМегаМаркет

Блог компании СберМегаМаркет Поисковые технологии *Go *Разработка под e-commerce *

Приглашаем на Search meetup от СберМегаМаркет

Первый митап от команды разработки СберМегаМаркета! Соберемся в офлайне и онлайне и обсудим поисковые технологии.

Событие состоится в гибридном формате, встречаемся в пространстве Старт Хаб на Красном Октябре.Если вы не сможете приехать очно — ждем вас в онлайне (этот вариант можно выбрать при регистрации и мы пришлём вам ссылку и напоминание). 

Чтобы посетить событие, нужно зарегистрироваться

Читать далее
Рейтинг 0
Просмотры 409
Комментарии 0

В сеть утекли данные миллионов пользователей Bean VPN

Децентрализованные сети *Информационная безопасность *Сетевые технологии *

Исследователи безопасности из Cybernews обнаружили, что поставщик услуг бесплатной виртуальной частной сети Bean VPN слил личную информацию о миллионах своих пользователей. Они нашли в сети базу данных с более чем 18 ГБ журналов подключений, созданных приложением.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 2.9K
Комментарии 0

5 докладов на митапе в Ульяновске: Consistent Hash, Go, оперативная память и не только (с трансляцией)

Блог компании Skyeng PHP *Программирование *Управление сообществом *

Привет! В эту субботу (2 июля) в 10:00 по Москве ульяновский чат соберется на второй митап. Первый митап прошел в октябре 2020 года, поэтому грядет по-настоящему большое событие для местного сообщества.

Трансляцию митапа можно будет найти на нашем канале и на канале ulskPHP. А если вы в Ульяновске или рядом — еще можно зарегистрироваться на оффлайн.

В программе 5 докладов:

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 475
Комментарии 0

Из бесплатного VPN-сервиса Airplane Accelerates в Китае слили базу данных пользователей на 5,7 млн записей

Информационная безопасность *IT-компании

В Китае из бесплатного VPN-сервиса Airplane Accelerates слили базу данных пользователей на 5,7 млн записей. База содержит IP-адреса, домены, идентификаторы и временные метки пользователей. Об этом заявляет портал Cybernews. Специалисты по кибербезопасности обнаружили 7 июля 2022 года в свободном доступе экземпляр ElasticSearch. Он содержал журнал VPN-подключений весом 626 ГБ.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 2.1K
Комментарии 7

Представляем curator-opensearch: инструмент с открытым кодом для работы с индексами в OpenSearch

Блог компании Флант Системное администрирование *Администрирование баз данных *DevOps *

Менеджер индексов Curator позволяет создавать, удалять и отключать индексы Elasticsearch, а также создавать и удалять снапшоты. Оригинальный Curator хорошо работает с OpenDistro, однако наша попытка использовать его с поисковой системой OpenSearch провалилась: оказалось, что Curator ее не поддерживает. Поэтому мы создали curator-opensearch — форк Curator’а, адаптированный для OpenSearch.

Читать далее
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 873
Комментарии 4

Полнотекстовый поиск в Grails

Groovy & Grails *
Подключить полнотекстовый поиск в Grails — задача довольно легкая. Для этого используется плагин Searchable, который делает все сущности Grails-приложения индексируемыми. Searchable позволяет абстрагировать весь процесс индексирования и поиска. При этом сам плагин использует библиотеку Compass, которая следит за тем, чтобы при изменении объекта (т.е. при сохранении в БД) он автоматически переиндексировался. Сам по себе Compass по сути является довольно мощным средством «поискового ORM»:
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 3.2K
Комментарии 0

Быстрый полнотекстовый поиск ElasticSearch

Разработка веб-сайтов *
Из песочницы
image
При разработке высоконагруженных сайтов или корпоративных систем частенько возникает проблема с разработкой быстрого и удобного поискового движка. Ниже перечислены наиболее важные, на мой взгляд, требования к такому движку:

  • Скорость
  • Простота установки и настройки
  • Цена (желательно бесплатно и с открытым кодом)
  • Обмен информацией в формате JSON (по HTTP)
  • Масштабируемость (возможность распределения на несколько серверов)
  • Индексация в режиме реального времени
  • Multi-tenancy (гибкость в настройках под индивидуального пользователя)
  • Возможность переноса системы в облако

Хочу рассказать вам о новом поисковом движке Elasticsearch, который полностью удовлетворяет всем этим требованиям. В статье будет краткое описание, ссылка на авторитетную презентацию, а также описание установки и работы с ним.
Читать дальше →
Всего голосов 69: ↑63 и ↓6 +57
Просмотры 215K
Комментарии 61

NoName Podcast S04E05

Я пиарюсь

Вместо вступления


Подкаст вышел с опозданием, поскольку мы ждали, когда мне вернут микрофон. На момент записи его так и не отдали, поэтому меня слышно не очень хорошо, выводы сделали, своих ошибок повторять не будем.
Таинственный образом с хабра пропал «подкаст», поэтому слушайте нас на rpod-е.
Читать дальше →
Всего голосов 33: ↑29 и ↓4 +25
Просмотры 926
Комментарии 1

Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа

Системное администрирование **nix *Apache *
Туториал
Recovery mode
Приветствую.

Нет так давно передо мной встала задача пробежаться по старым логам apache. Надо было сделать выборку по нескольким IP адресам, отыскать некоторые аномалии и попытки SQL-injection'ов. Логов было не так много, порядка миллиона строк и можно было спокойно всё сделать стандартным набором grap-awk-uniq-wc итд.

Поскольку я уже какое-то (больше года) время пользуюсь связкой Logstash-Elasticsearch-Kibana для анализа-просмотра всевозможных логов, то решил ей воспользоваться и в данной ситуации.

Краткое описание основных компонентов системы.

Logstash — бесплатная open-source программа на java для сбора и нормализации логов. Может принимать логи либо с локальных файлов, либо через tcp/udp порты. На момент написания статьи, разных входных (input) фильтров насчитывается 26. Есть даже входной модуль, для сбора сообщений из twitter'а или irc.

Elasticsearch — бесплатный open-source поисковый сервер основанный на Apache Lucene. Быстрый, легко настраиваемый и очень масштабируемый.

Kibana — веб-интерфейс написанный на ruby, для отображения данных из Elasticsearch. Простая настройка, но множество функций — поиск, графики, stream.

Читать дальше →
Всего голосов 15: ↑14 и ↓1 +13
Просмотры 46K
Комментарии 25

Github полностью переработал поиск

Разработка веб-сайтов *Git *Системы управления версиями *


В среду, 23 января, Github запустил новый, значительно переработанный и улучшенный поиск кода, репозиториев и разработчиков. Теперь инфраструктуру обеспечивает кластер серверов ElasticSearch, который индексирует весь добавляемый код на лету, заметно переработан интерфейс, и, самое главное, есть много функциональных улучшений.
Читать дальше →
Всего голосов 66: ↑60 и ↓6 +54
Просмотры 17K
Комментарии 19

Как это сделано: префиксный поиск

Блог компании VK Разработка веб-сайтов *Поисковые технологии *
Мы живем во времена, когда кажется, что все просто и все есть. Нужно сделать масштабируемый проект — используем MongoDB, нужна очередь — вот RabbitMQ, нужно поднять функционал поиска — раз плюнуть: ставим Sphinx, Solr, ElasticSearch (нужное подчеркнуть).

Но здесь лишь доля правды: — при определенном везении можно поставить нужный сервер и все зашевелится. Загвоздка с поиском состоит в том, что пользователи уже порядком привыкли к высокой планке, которую задают «большие ребята», а тот поиск, что поднимется у вас «из коробки», будет явно недотягивать. И если очередь или базу данных вы можете добить железом прежде, чем будете оптимизировать, то поиск железом не добьешь.

Существую толстые книжки про настройки полнотекстового поиска, однако их мало кто читает. Сегодня я хотел бы на пальцах поговорить о том, что нужно учесть, когда вы делаете префиксный поиск с выводом результатов по мере набора слова или фразы.

Мы посмотрим, как с помощью нашего проекта http://indexisto.com сделан поиск на сайте http://maximonline.ru и сравним его с тем, что есть на других сайтах.

Для начала несколько примеров. Возьмем запрос «Битва за Лос Анджелес» и представим, что его напишут неправильно «Лос Анжелес биттва». Как видно, пользователь не знает точно, как пишется имя города, и забыл, как звучит название фильма, а также у него дрогнула рука в конце на слове «битва».

Выберем достойные проекты рунета, в которых есть префиксный поиск, и попробуем поискать там наш запрос:

Проект Правильный запрос Неправильный запрос
afisha.ru

все ОК

Не найдено
ivi.ru

все ОК

Не найдено
vk.com

все ОК

Не найдено
maximonline.ru

все ОК

все ОК

Читать дальше →
Всего голосов 103: ↑81 и ↓22 +59
Просмотры 42K
Комментарии 37

Elastic Search в enterprise-проектах

Блог компании 2ГИС Разработка веб-сайтов *Поисковые технологии *
В рамках этой статьи я поделюсь опытом использования Elastic Search во внутренних продуктах 2ГИС, в частности, в собственной системе для организации Call-центра. А также расскажу, какие проблемы мы смогли решить, используя этот поисковый движок.


Читать дальше →
Всего голосов 51: ↑50 и ↓1 +49
Просмотры 55K
Комментарии 23

ElasticSearch 1.0 — новые возможности аналитики

Блог компании VK
Многие слышали о высокоуровневом поисковом сервере ElasticSearch, но не все знают, что многие используют его не совсем по прямому назначению. Речь идет о реалтайм-аналитике различных структурированных и не очень данных.

Эта статья также назрела ввиду того, что многие крупные интернет-проекты рунета в 2014 году получили письма счастья от Google Analytics с предложением заплатить $150 000 за возможность использовать их продукт. Я лично считаю, что ничего плохого в том, чтобы оплатить труд программистов и администраторов нет. Но при этом это довольно серьезные инвестиции, и, может, вложения в собственную инфраструктуру и специалистов, даст большую гибкость в дальнейшем.

Аналитика в ElasticSearch основана на полнотекстовом поиске и фасетах. Фасеты в поиске — это некая агрегация по определенному признаку. Вы часто сталкивались с фасетами-фильтрами в интернет-магазинах: в левой или правой колонке есть уточняющие галочки. Ниже пример тестового фасетного поиска у нас на главной странице http://indexisto.com/.



Буквально неделю назад вышла стабильная версия поискового сервера ElasticSearch 1.0, в которой разработчики настолько серьезно поработали над фасетами, что даже назвали их Aggregation.

Так как тема еще не освещалась на Хабре, я хочу рассказать, что из себя представляют аггрегации в ElasticSearch, какие возможности открываются и есть ли жизнь без Hadoop.
Читать дальше →
Всего голосов 81: ↑75 и ↓6 +69
Просмотры 32K
Комментарии 19