• Apache Kafka и потоковая обработка данных с помощью Spark Streaming

    • Tutorial
    Привет, Хабр! Сегодня мы построим систему, которая будет при помощи Spark Streaming обрабатывать потоки сообщений Apache Kafka и записывать результат обработки в облачную базу данных AWS RDS.

    Представим, что некая кредитная организация ставит перед нами задачу обработки входящих транзакций «на лету» по всем своим филиалам. Это может быть сделано с целью оперативного расчета открытой валютой позиции для казначейства, лимитов или финансового результата по сделкам и т.д.

    Как реализовать этот кейс без применения магии и волшебных заклинаний — читаем под катом! Поехали!


    (Источник картинки)
    Читать дальше →
  • Архитектура хранилищ данных: традиционная и облачная

      Привет, Хабр! На тему архитектуры хранилищ данных написано немало, но так лаконично и емко как в статье, на которую я случайно натолкнулся, еще не встречал.

      Предлагаю и вам познакомиться с данной статьей в моем переводе. Комментарии и дополнения только приветствуются!


      (Источник картинки)
      Читать дальше →
      • +11
      • 5.4k
      • 7
    • Бессерверный REST API «на коленке за 5 минут»

        Привет, Хабр! Сегодня продолжим разговор о возможностях, которые предоставляет нам Amazon Web Services и о том, как эти возможности использовать в решении прикладных задач.

        На простом примере рассмотрим создание буквально за несколько минут собственного бессерверного автомасштабируемого REST API с разбором кейса — получения списка для ресурса.

        Интересно? Тогда заходим под кат!


        (Источник)
        Читать дальше →
      • Облачные сервисы Amazon и анализ инвестиционного портфеля

          В последнее время на фондовых рынках наблюдается высокая волатильность, когда, например, стабильная бумага известной компании может враз потерять сразу несколько процентов на новостях о санкциях против ее руководства или наоборот взлететь до небес на позитивном отчете и ожиданиях инвесторов о сверхприбыльных дивидендах.

          Как же определить, принесло ли владение данной ценной бумагой доход или одни лишь убытки и разочарование?

          (Источник)

          В этой статье я расскажу Вам как определять и визуализировать скорректированный финансовый результат по ценным бумагам.

          На примере клиентской отчетности Открытие Брокер мы рассмотрим парсинг и консолидацию брокерских отчетов для фондового рынка, построение архитектуры облачной отчетной системы с последующим простым и удобным анализом в AWS Quicksight.
          Читать дальше →
          • +11
          • 4.4k
          • 2
        • MongoDB и исследование рынка ИТ-вакансий

          Вы когда-нибудь анализировали вакансии?

          Задавались вопросом, в каких технологиях наиболее сильна потребность рынка труда на текущий момент? Месяц назад? Год назад?

          Как часто открываются новые вакансии Java-разработчиков в определенном районе Вашего города и как активно они закрываются?

          В этой статье я расскажу Вам, как можно достичь желаемого результата и построить отчетную систему по интересующей нас теме. Поехали!


          (Источник картинки)
          Читать дальше →
          • +16
          • 5.7k
          • 2