Как стать автором
Обновить

Публичные данные 1,2 млрд пользователей были обнаружены на открытом Elasticsearch-сервере

Время на прочтение 3 мин
Количество просмотров 12K
Информационная безопасность *Поисковые технологии *Социальные сети и сообщества


Согласно информации издания Wired, специалисты в области информационной безопасности Винни Троя (Vinny Troia) и Боб Дьяченко (Bob Diachenko) обнаружили в сети открытый Elasticsearch-сервер, содержащий 1,2 млрд записей общим размером четыре терабайта. Сервер был расположен на площадке Google Cloud Service (у него был IP-адрес 35.199.58.125).
Читать дальше →
Всего голосов 21: ↑20 и ↓1 +19
Комментарии 14

Elastic меняет лицензии Elasticsearch и Kibana c Apache 2.0 на SSPL

Время на прочтение 2 мин
Количество просмотров 13K
Open source *Софт IT-компании


14 января 2021 года Elastic объявила об изменении правил лицензирования своих продуктов. Новые версии платформы поиска, анализа и хранения данных Elasticsearch и web-интерфейса Kibana будут распространяться под несвободной лицензией SSPL 1.0 (Server Side Public License). Ранее они были под лицензией Apache 2.0.
Читать дальше →
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 25

Amazon объявила о запуске форков Elasticsearch и Kibana

Время на прочтение 2 мин
Количество просмотров 5.3K
Open source *Amazon Web Services *Софт

На прошлой неделе Elastic объявила, что изменит свою стратегию лицензирования программного обеспечения и не будет выпускать новые версии Elasticsearch и Kibana под лицензией Apache, версия 2.0 (ALv2). AWS заявила, что предпримет шаги для создания и поддержки форков Elasticsearch и Kibana.

Читать далее
Всего голосов 13: ↑4 и ↓9 -5
Комментарии 8

В сети был обнаружен зарубежный сервер Elasticsearch с базой СМС-сообщений, якобы, с номера 900, сейчас данные стерты

Время на прочтение 2 мин
Количество просмотров 19K
Информационная безопасность *Законодательство в IT IT-компании


По информации телеграм-канал «Утечки иформации», в сети Интернет с 12 июня 2021 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения, предположительно, отправленные с номера 900.

Комментарий от «Сбера» для Хабра: «компания провела проверку и выяснила, что это фейковые данные и они не имеют отношения к клиентам банка».
Читать дальше →
Всего голосов 26: ↑25 и ↓1 +24
Комментарии 19

Amazon переименовала Elasticsearch Service в OpenSearch Service

Время на прочтение 2 мин
Количество просмотров 2.3K
API *Законодательство в IT IT-компании

Компания Amazon Web Services (AWS) выполнила обязательства и переименовала форк Amazon Elasticsearch Service в Amazon OpenSearch Service, поскольку ранее AWS и Elasticsearch BV поссорились из-за лицензирования программного обеспечения с открытым исходным кодом Elasticsearch.

Напомним, Amazon запустила сервис аналитики и мониторинга в 2015 году, что привело к конкуренции с Elasticsearch BV, компании, созданной для коммерциализации проекта.

Elasticsearch BV получила публичный статус в 2018 году. Годом позже AWS фактически заново создал проект Elasticsearch, выпустив собственную версию программного обеспечения под названием Open Distro for Elasticsearch.

В ответ на это Elasticsearch BV подала иск на Amazon из-за неправомерного использования копирайта. Судебные разбирательства все еще не завершены.

В январе 2021 года генеральный директор и соучредитель Elasticsearch BV Шей Бэнон объявил, что проекты ElasticSearch и Kibana откажутся от лицензии Apache 2.0 с открытым исходным кодом в пользу Elastic и общедоступной серверной лицензии без открытого исходного кода (SSPL).

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Arenadata выпустила новый продукт на базе Elasticsearch

Время на прочтение 2 мин
Количество просмотров 1.5K
Блог компании Arenadata Open source *Big Data *Хранилища данных *Data Engineering *

Компания Arenadata завершила финальное тестирование нового продукта на базе технологии Elasticsearch — Arenadata LogSearch 1.0. (ADLS). Это один из первых продуктов на российском рынке, который обеспечивает быстрый доступ к технологии Elasticsearch и возможность работать с ней в гетерогенной ИТ-инфраструктуре (bare-metal, clouds, multi-clouds). 

Arenadata LogSearch — это масштабируемая отказоустойчивая система, предназначенная для анализа и полнотекстового поиска. Технология Elasticsearch была разработана для полнотекстового поиска на базе библиотеки Apache Lucene. Основной функциональной особенностью библиотеки является обеспечение масштабируемой и высокоскоростной индексации данных (создание объектов внутри базы данных, соответствующих определённым критериям поиска). Подобные системы особенно актуальны, когда необходим поиск по сложным запросам: поиск фраз, включающих разные части речи или поиск по географическим координатам.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 4

Эксперты обнаружили сервер Elasticsearch с содержимым СМС-сообщений от сервисов и банков, включая «Тинькофф» и «Озон»

Время на прочтение 2 мин
Количество просмотров 61K
Информационная безопасность *Финансы в IT IT-компании


По информации телеграм-канала «Утечки иформации», в сети Интернет с 1 апреля 2022 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения от различных российских и зарубежных сервисов и банков.
Читать дальше →
Всего голосов 31: ↑30 и ↓1 +29
Комментарии 125

Приглашаем на Search meetup от СберМегаМаркет

Время на прочтение 1 мин
Количество просмотров 434
Блог компании СберМегаМаркет Поисковые технологии *Go *Разработка под e-commerce *

Приглашаем на Search meetup от СберМегаМаркет

Первый митап от команды разработки СберМегаМаркета! Соберемся в офлайне и онлайне и обсудим поисковые технологии.

Событие состоится в гибридном формате, встречаемся в пространстве Старт Хаб на Красном Октябре.Если вы не сможете приехать очно — ждем вас в онлайне (этот вариант можно выбрать при регистрации и мы пришлём вам ссылку и напоминание). 

Чтобы посетить событие, нужно зарегистрироваться

Читать далее
Рейтинг 0
Комментарии 0

В сеть утекли данные миллионов пользователей Bean VPN

Время на прочтение 2 мин
Количество просмотров 3K
Децентрализованные сети *Информационная безопасность *Сетевые технологии *

Исследователи безопасности из Cybernews обнаружили, что поставщик услуг бесплатной виртуальной частной сети Bean VPN слил личную информацию о миллионах своих пользователей. Они нашли в сети базу данных с более чем 18 ГБ журналов подключений, созданных приложением.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

5 докладов на митапе в Ульяновске: Consistent Hash, Go, оперативная память и не только (с трансляцией)

Время на прочтение 1 мин
Количество просмотров 498
Блог компании Skyeng PHP *Программирование *Управление сообществом *

Привет! В эту субботу (2 июля) в 10:00 по Москве ульяновский чат соберется на второй митап. Первый митап прошел в октябре 2020 года, поэтому грядет по-настоящему большое событие для местного сообщества.

Трансляцию митапа можно будет найти на нашем канале и на канале ulskPHP. А если вы в Ульяновске или рядом — еще можно зарегистрироваться на оффлайн.

В программе 5 докладов:

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Из бесплатного VPN-сервиса Airplane Accelerates в Китае слили базу данных пользователей на 5,7 млн записей

Время на прочтение 2 мин
Количество просмотров 2.2K
Информационная безопасность *IT-компании

В Китае из бесплатного VPN-сервиса Airplane Accelerates слили базу данных пользователей на 5,7 млн записей. База содержит IP-адреса, домены, идентификаторы и временные метки пользователей. Об этом заявляет портал Cybernews. Специалисты по кибербезопасности обнаружили 7 июля 2022 года в свободном доступе экземпляр ElasticSearch. Он содержал журнал VPN-подключений весом 626 ГБ.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 7

Представляем curator-opensearch: инструмент с открытым кодом для работы с индексами в OpenSearch

Время на прочтение 2 мин
Количество просмотров 1.1K
Блог компании Флант Системное администрирование *Администрирование баз данных *DevOps *

Менеджер индексов Curator позволяет создавать, удалять и отключать индексы Elasticsearch, а также создавать и удалять снапшоты. Оригинальный Curator хорошо работает с OpenDistro, однако наша попытка использовать его с поисковой системой OpenSearch провалилась: оказалось, что Curator ее не поддерживает. Поэтому мы создали curator-opensearch — форк Curator’а, адаптированный для OpenSearch.

Читать далее
Всего голосов 25: ↑25 и ↓0 +25
Комментарии 4

Manticore Search 6

Время на прочтение 4 мин
Количество просмотров 640
Поисковые технологии *Open source *C++ *Sphinx *Администрирование баз данных *

Сегодня мы рады объявить, что Manticore Search 6.0.0 наконец вышел! Мы потратили на его создание более полугода, вложили огромное количество сил и написали более 80 000 строк кода.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 2

Данные Elasticsearch-сервера оператора связи «Авантелеком», включая логи общения с клиентами, оказались открыты всем

Время на прочтение 1 мин
Количество просмотров 1.6K
Информационная безопасность *IT-инфраструктура *Сетевые технологии *Облачные сервисы *IT-компании
16 марта 2023 года данные Elasticsearch-сервера оператора связи «Авантелеком», включая номера телефонов клиентов и логи общения сотрудников компаний с техподдержкой, оказались доступны всем пользователям.
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 2

Полнотекстовый поиск в Grails

Время на прочтение 4 мин
Количество просмотров 3.2K
Groovy & Grails *
Подключить полнотекстовый поиск в Grails — задача довольно легкая. Для этого используется плагин Searchable, который делает все сущности Grails-приложения индексируемыми. Searchable позволяет абстрагировать весь процесс индексирования и поиска. При этом сам плагин использует библиотеку Compass, которая следит за тем, чтобы при изменении объекта (т.е. при сохранении в БД) он автоматически переиндексировался. Сам по себе Compass по сути является довольно мощным средством «поискового ORM»:
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Быстрый полнотекстовый поиск ElasticSearch

Время на прочтение 6 мин
Количество просмотров 215K
Разработка веб-сайтов *
Из песочницы
image
При разработке высоконагруженных сайтов или корпоративных систем частенько возникает проблема с разработкой быстрого и удобного поискового движка. Ниже перечислены наиболее важные, на мой взгляд, требования к такому движку:

  • Скорость
  • Простота установки и настройки
  • Цена (желательно бесплатно и с открытым кодом)
  • Обмен информацией в формате JSON (по HTTP)
  • Масштабируемость (возможность распределения на несколько серверов)
  • Индексация в режиме реального времени
  • Multi-tenancy (гибкость в настройках под индивидуального пользователя)
  • Возможность переноса системы в облако

Хочу рассказать вам о новом поисковом движке Elasticsearch, который полностью удовлетворяет всем этим требованиям. В статье будет краткое описание, ссылка на авторитетную презентацию, а также описание установки и работы с ним.
Читать дальше →
Всего голосов 69: ↑63 и ↓6 +57
Комментарии 61

NoName Podcast S04E05

Время на прочтение 1 мин
Количество просмотров 932
Я пиарюсь

Вместо вступления


Подкаст вышел с опозданием, поскольку мы ждали, когда мне вернут микрофон. На момент записи его так и не отдали, поэтому меня слышно не очень хорошо, выводы сделали, своих ошибок повторять не будем.
Таинственный образом с хабра пропал «подкаст», поэтому слушайте нас на rpod-е.
Читать дальше →
Всего голосов 33: ↑29 и ↓4 +25
Комментарии 1

Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа

Время на прочтение 4 мин
Количество просмотров 46K
Системное администрирование **nix *Apache *
Туториал
Recovery mode
Приветствую.

Нет так давно передо мной встала задача пробежаться по старым логам apache. Надо было сделать выборку по нескольким IP адресам, отыскать некоторые аномалии и попытки SQL-injection'ов. Логов было не так много, порядка миллиона строк и можно было спокойно всё сделать стандартным набором grap-awk-uniq-wc итд.

Поскольку я уже какое-то (больше года) время пользуюсь связкой Logstash-Elasticsearch-Kibana для анализа-просмотра всевозможных логов, то решил ей воспользоваться и в данной ситуации.

Краткое описание основных компонентов системы.

Logstash — бесплатная open-source программа на java для сбора и нормализации логов. Может принимать логи либо с локальных файлов, либо через tcp/udp порты. На момент написания статьи, разных входных (input) фильтров насчитывается 26. Есть даже входной модуль, для сбора сообщений из twitter'а или irc.

Elasticsearch — бесплатный open-source поисковый сервер основанный на Apache Lucene. Быстрый, легко настраиваемый и очень масштабируемый.

Kibana — веб-интерфейс написанный на ruby, для отображения данных из Elasticsearch. Простая настройка, но множество функций — поиск, графики, stream.

Читать дальше →
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 25

Github полностью переработал поиск

Время на прочтение 1 мин
Количество просмотров 17K
Разработка веб-сайтов *Git *Системы управления версиями *


В среду, 23 января, Github запустил новый, значительно переработанный и улучшенный поиск кода, репозиториев и разработчиков. Теперь инфраструктуру обеспечивает кластер серверов ElasticSearch, который индексирует весь добавляемый код на лету, заметно переработан интерфейс, и, самое главное, есть много функциональных улучшений.
Читать дальше →
Всего голосов 66: ↑60 и ↓6 +54
Комментарии 19

Как это сделано: префиксный поиск

Время на прочтение 5 мин
Количество просмотров 42K
Блог компании VK Разработка веб-сайтов *Поисковые технологии *
Мы живем во времена, когда кажется, что все просто и все есть. Нужно сделать масштабируемый проект — используем MongoDB, нужна очередь — вот RabbitMQ, нужно поднять функционал поиска — раз плюнуть: ставим Sphinx, Solr, ElasticSearch (нужное подчеркнуть).

Но здесь лишь доля правды: — при определенном везении можно поставить нужный сервер и все зашевелится. Загвоздка с поиском состоит в том, что пользователи уже порядком привыкли к высокой планке, которую задают «большие ребята», а тот поиск, что поднимется у вас «из коробки», будет явно недотягивать. И если очередь или базу данных вы можете добить железом прежде, чем будете оптимизировать, то поиск железом не добьешь.

Существую толстые книжки про настройки полнотекстового поиска, однако их мало кто читает. Сегодня я хотел бы на пальцах поговорить о том, что нужно учесть, когда вы делаете префиксный поиск с выводом результатов по мере набора слова или фразы.

Мы посмотрим, как с помощью нашего проекта http://indexisto.com сделан поиск на сайте http://maximonline.ru и сравним его с тем, что есть на других сайтах.

Для начала несколько примеров. Возьмем запрос «Битва за Лос Анджелес» и представим, что его напишут неправильно «Лос Анжелес биттва». Как видно, пользователь не знает точно, как пишется имя города, и забыл, как звучит название фильма, а также у него дрогнула рука в конце на слове «битва».

Выберем достойные проекты рунета, в которых есть префиксный поиск, и попробуем поискать там наш запрос:

Проект Правильный запрос Неправильный запрос
afisha.ru

все ОК

Не найдено
ivi.ru

все ОК

Не найдено
vk.com

все ОК

Не найдено
maximonline.ru

все ОК

все ОК

Читать дальше →
Всего голосов 103: ↑81 и ↓22 +59
Комментарии 37