• Где же у него кнопка?! Как простому человеку выгрузить данные из Kibana и Elasticsearch и не напрягать при этом разрабов

      Elasticsearch, Kibana и Logstash (ELK) – отличный набор инструментов для сбора и визуализации большого количества данных.

      Логи, журналы, события – всё это довольно легко собирается, мапится и отображается в едином инструментарии. Logstash мапит данные, Elasticsearch хранит их, а Kibana отображает в виде графиков.

      При всей мощи этой связки, естественно, есть задачи, которые невозможно реализовать через встроенные возможности.

      Например, Kibana прекрасно показывает данные в рамках одной таблицы (индекса), но как только дело доходит до объединения разных индексов в одну выборку, она беспомощно разводит руки.

      И единственный способ решить задачу в этом случае – выгрузить данные из Kibana и объединить их в любом другом средстве, например, в Excel.

      Простой пример. Представьте, что Ваша Ёлка (ELK) собирает и хранит события Jira – по любому изменению любой из задач таск-трекера.

      В этом случае в индексе Elasticsearch по одной задаче будет храниться несколько записей:


      Читать дальше →
      • +14
      • 1,5k
      • 4
    • 100500 способов кэширования в Oracle Database

        Рассказывать, какие есть кэши, что такое Result Cache, как он сделан в Oracle и в других базах данных не очень интересно и довольно шаблонно. Но все приобретает совершенно другие краски, когда речь идет о конкретных примерах. Александр Токарев (shtock) построил свой доклад на Highload++ 2017 исходя из кейсов. И именно опираясь на кейсы, рассказал, когда может быть удобен самодельный кэш, в чем боль server-side Result Cache и как заменить его клиентским, и вообще вывел ряд полезных советов по настройке Result Cache в Oracle.


        О спикере: Александр Токарев работает в компании DataArt и занимается вопросами, связанными с базами данных как в части построения систем «с нуля», так и оптимизации имеющихся.

        Начнем с нескольких риторических вопросов. Вы работали с Oracle Result Cache? Вы верите, что Oracle — это база данных, удобная на все случаи? По опыту Александра большинство людей на последний вопрос отвечает отрицательно, на сто суровых прагматиков приходится один мечтатель. Но благодаря его вере двигается прогресс.

        Кстати, у Oracle уже 14 баз данных — пока 14 — что будет в будущем, неизвестно.

        Как уже говорилось, все проблемы и решения будут проиллюстрированы конкретным кейсами. Это будет два кейса из проектов DataArt, и один сторонний пример.
        Читать дальше →
        • +28
        • 5,2k
        • 2
      • Регулирование: В США обяжут компании уведомлять об утечке ПД в рамках 30 дней

          На днях губернатор штата Колорадо подписал законопроект HB18-1128 под названием «Protections for Consumer Data Privacy». Он обяжет организации уведомлять клиентов и власти штата об «утечках» данных в рамках 30 дней с момента возникновения таких инцидентов. Под катом — наш краткий обзор этого законопроекта с учетом общей ситуации вокруг ввода GDPR.

          Читать дальше →
          • +12
          • 3,3k
          • 2
        • Как создать образцы для Единой биометрической системы и почему это может быть опасно

          • Tutorial

          Марк не хочет, чтобы на него в России была оформлена ипотека

          С 30 июня госорганы, банки и иные организации получат право собирать биометрические данные граждан и устанавливать по ним личность. В то же время закон № 482-ФЗ устанавливает критерии, которым должны соответствовать банки, открывающие и ведущие счета клиентов без их личного присутствия.


          Единая биометрическая система идентификации личности будет запущена в России 1 июля.


          Для проекта на государственном уровне были выбраны два типа биометрии: голос и лицо, причем не по отдельности, а вместе, так как бимодальность позволяет определить «живого человека», а не имитацию его биометрии в цифровом канале. В будущем возможно подключение других биометрий, в частности, радужной оболочки глаз и рисунков вен.


          За доступ к данным каждого гражданина в единой идентификационной базе банки должны будут платить по 200 рублей. При этом половину этой суммы будет получать банк, который первоначально участвовал в снятии первичной биометрии, а еще 100 руб. получат иные участники системы (оператор самой системы, портал госуслуг и вендоры технологических решений). Учитывая, что активными клиентами банков являются миллионы человек, сумма получается огромная.


          На начальном этапе введения системы клиентам будут доступны только простые операции вроде перевода внутри своих счетов, в дальнейшем с ее помощью можно будет оформлять кредиты и ипотеки.


          В дальнейшем систему планируют распространить на госуслуги, образование, здравоохранение и другие сферы.

          Читать дальше →
        • Пропущенный дедлайн, или почему больше половины компаний оказались не готовы к GDPR

            В последние дни на почту регулярно падают письма от разных компаний, приложений, сервисов и сайтов, которыми вы когда-либо пользовались или где заводили аккаунты. Письма примерно одинаковые — они сообщают об изменении политики конфиденциальности и разъясняют, как компания обрабатывает персональные данные.

            Мы уже писали о том, что именно меняется в политиках обработки данных крупных IT-компаний: WhatsApp, Facebook, Instagram и Twitter. Теперь разбираемся, почему десятки писем от многих сервисов начали приходить только сейчас, после формального дедлайна по GDPR, почему не все компании смогли своевременно подготовиться к переходу и с какими проблемами они столкнулись.

            Читать дальше →
          • Биометрические персональные данные россиян



              В свете скорого вступления в действие закона о биометрической идентификации клиентов банков хотелось бы вернуться немного назад и вспомнить, а чем собственно являются биометрические персональные данные. Что по этому поводу нам говорит Роскомнадзор и как нам быть, если придется с ними работать.


              Согласно Федеральному закону от 27.07.2006 N 152-ФЗ «О персональных данных», ст. 11:
              «Сведения, которые характеризуют физиологические и биологические особенности человека, на основании которых можно установить его личность (биометрические персональные данные) и которые используются оператором для установления личности субъекта персональных данных, могут обрабатываться только при наличии согласия в письменной форме субъекта персональных данных, за исключением случаев, предусмотренных частью 2 настоящей статьи.»
              Для детей у Роскомнадзора есть упрощенное объяснение:
              Биометрические персональные данные представляют собой сведения о наших биологических особенностях. Эти данные уникальны, принадлежат только одному человеку и никогда не повторяются.

              Биометрические данные заложены в нас от рождения самой природой, они никем не присваиваются, это просто закодированная информация о человеке, которую люди научились считывать. К таким данным относятся:

              отпечаток пальца, рисунок радужной оболочки глаза, код ДНК, слепок голоса и пр.

              О стандартах

              Читать дальше →
            • Ой, у вас баннер убежал!

              Ну. И что?
              Реклама
            • Производительность хранилища данных: новые цифры

                В предыдущем нашем посте мы поделились своими измерениями производительности гипервизора после установки патчей против уязвимостей Meltdown и Spectre. Сегодня же пришло время поговорить о производительности хранилища данных.
                Читать дальше →
              • Работа с Veeam Availability Console: настройка управляемого резервного копирования Managed Backup Services



                  Недавно мы запустили новый сервис управления политиками резервного копирования клиентов — Veeam Managed Backup. В его основе используется портал Veeam Availability Console. О функциональных возможностях портала Veeam уже рассказывал. Кратко напомню основные:

                  1. Для клиента – мониторинг заданий и инфраструктуры РК, получение информации по биллингу;
                  2. Для провайдера – управление резервным копированием клиентов: конфигурация, мониторинг и обслуживание.

                  В своей статье я хочу рассказать о том, как работать в портале и настраивать Managed Backup для виртуальных сред. Но сначала кратко о том, чем хорош сервис Veeam Managed Backup. Он позволяет передать на аутсорсинг весь процесс резервного копирования, даже если ресурсы находятся на площадке клиента. В сервисе используется модель лицензирования за ВМ с включенной услугой Veeam Cloud Connect.

                  Что это означает для клиента? Во-первых – возможность получить дополнительную копию бэкапа своей ВМ в облаке сервис-провайдера без переплаты за лицензии Veeam Cloud Connect. Оплачивается только место на СХД под резервные копии (Cloud Connect Backup) или репликацию (Cloud Connect Replication).  Во-вторых – оплата по факту использования лицензий, то есть гибкость в затратах по сравнению с лицензией типа Perpetual License.

                  Но вернемся к порталу Veeam Cloud Connect: первый шаг к настройке управляемого резервного копирования — создание учетной записи клиента.
                  Читать дальше →
                • Колоночные СУБД против строчных, как насчет компромисса?


                    Колоночные СУБД активно развивались в нулевых годах, на данный момент они нашли свою нишу и практически не конкурируют с традиционными, строчными системами. Под катом автор разбирается, возможно ли универсальное решение и насколько оно целесообразно.
                    Читать дальше →
                  • Зачем мониторить системы хранения данных?


                      Кто-то скоро упадёт

                      Потому что СХД хранит святая святых — данные. Если данные стали недоступны, очень скоро запахнет жареным. Или если вдруг место закончилось — тоже неприятный сюрприз. Поэтому мониторинг должен быть обязательно, и он должен покрывать СХД.

                      Есть два основных подхода к мониторингу хранилок. Либо использовать универсальную систему мониторинга наподобие Nagios, Icinga, которая будет собирать инфу по протоколу SNMP, либо купить узкоспециализированный софт от производителей самих СХД. Само собой, второй вариант обеспечивает более глубокий анализ состояния железа, показывает специфические вещи наподобие состояния кэша, iops, hit rate, загрузку контроллеров и т. д. Именно такой вариант и выбирали чаще всего наши заказчики, у которых в строю стоят крупные и дорогостоящие массивы.

                      Но к слову сказать, не всё так гладко с коммерческим ПО для мониторинга. В подробностях я расскажу дальше. Это будет, так сказать, опыт из первых рук. В своё время я почти 2 года допиливал одну такую систему за много тысяч зелёных бумажек от именитого вендора. И расковырял её так, что даже поддержка вендора со мной стала советоваться. Но одни проблемы софта сменялись другими, равно как одни индусы из поддержки сменялись новыми индусами — и тогда-то мне и пришла мысль, а не поступить ли вообще радикально… В общем, с этого всё и началось.
                      Читать дальше →
                    Самое читаемое