• Интеграция Aviasales API с Amazon Kinesis и простота serverless

      Привет, Хабр!

      А вы любите летать на самолетах? Я обожаю, но на самоизоляции полюбил еще и анализировать данные об авиабилетах одного известного ресурса — Aviasales.

      Сегодня мы разберем работу Amazon Kinesis, построим стримминговую систему с реал-тайм аналитикой, поставим NoSQL базу данных Amazon DynamoDB в качестве основного хранилища данных и настроим оповещение через SMS по интересным билетам.

      Все подробности под катом! Поехали!


      Читать дальше →
    • Multiprocessing и реконсиляция данных из различных источников

        Привет, Хабр!

        В условиях многообразия распределенных систем, наличие выверенной информации в целевом хранилище является важным критерием непротиворечивости данных.

        На этот счет существует немало подходов и методик, а мы остановимся на реконсиляции, теоретические аспекты которой были затронуты вот в этой статье. Предлагаю рассмотреть практическую реализацию данной системы, масштабируемой и адаптированной под большой объем данных.

        Как реализовать этот кейс на старом-добром Python — читаем под катом! Поехали!


        (Источник картинки)
        Читать дальше →
      • Apache Kafka и потоковая обработка данных с помощью Spark Streaming

        • Tutorial
        Привет, Хабр! Сегодня мы построим систему, которая будет при помощи Spark Streaming обрабатывать потоки сообщений Apache Kafka и записывать результат обработки в облачную базу данных AWS RDS.

        Представим, что некая кредитная организация ставит перед нами задачу обработки входящих транзакций «на лету» по всем своим филиалам. Это может быть сделано с целью оперативного расчета открытой валютой позиции для казначейства, лимитов или финансового результата по сделкам и т.д.

        Как реализовать этот кейс без применения магии и волшебных заклинаний — читаем под катом! Поехали!


        (Источник картинки)
        Читать дальше →
        • +16
        • 19.7k
        • 5
      • Архитектура хранилищ данных: традиционная и облачная

          Привет, Хабр! На тему архитектуры хранилищ данных написано немало, но так лаконично и емко как в статье, на которую я случайно натолкнулся, еще не встречал.

          Предлагаю и вам познакомиться с данной статьей в моем переводе. Комментарии и дополнения только приветствуются!


          (Источник картинки)
          Читать дальше →
          • +11
          • 52.9k
          • 7
        • Бессерверный REST API «на коленке за 5 минут»

            Привет, Хабр! Сегодня продолжим разговор о возможностях, которые предоставляет нам Amazon Web Services и о том, как эти возможности использовать в решении прикладных задач.

            На простом примере рассмотрим создание буквально за несколько минут собственного бессерверного автомасштабируемого REST API с разбором кейса — получения списка для ресурса.

            Интересно? Тогда заходим под кат!


            (Источник)
            Читать дальше →
          • Облачные сервисы Amazon и анализ инвестиционного портфеля

              В последнее время на фондовых рынках наблюдается высокая волатильность, когда, например, стабильная бумага известной компании может враз потерять сразу несколько процентов на новостях о санкциях против ее руководства или наоборот взлететь до небес на позитивном отчете и ожиданиях инвесторов о сверхприбыльных дивидендах.

              Как же определить, принесло ли владение данной ценной бумагой доход или одни лишь убытки и разочарование?

              (Источник)

              В этой статье я расскажу Вам как определять и визуализировать скорректированный финансовый результат по ценным бумагам.

              На примере клиентской отчетности Открытие Брокер мы рассмотрим парсинг и консолидацию брокерских отчетов для фондового рынка, построение архитектуры облачной отчетной системы с последующим простым и удобным анализом в AWS Quicksight.
              Читать дальше →
            • MongoDB и исследование рынка ИТ-вакансий

              Вы когда-нибудь анализировали вакансии?

              Задавались вопросом, в каких технологиях наиболее сильна потребность рынка труда на текущий момент? Месяц назад? Год назад?

              Как часто открываются новые вакансии Java-разработчиков в определенном районе Вашего города и как активно они закрываются?

              В этой статье я расскажу Вам, как можно достичь желаемого результата и построить отчетную систему по интересующей нас теме. Поехали!


              (Источник картинки)
              Читать дальше →
              • +16
              • 6.4k
              • 2