Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Как построить IIoT архитектуру своими руками

Блог компании ITSumma Разработка на Raspberry Pi *Интернет вещей

За последний год мы спроектировали (и продолжаем поддерживать) несколько IIoT проектов. Возможно, вы слышали о IIoT, но, на всякий случай, мы попробуем максимально просто объяснить что это такое и почему это интересно разработчикам, архитекторам и администраторам высоконагруженных решений.



IoT — интернет вещей — подразумевает управление устройствами, предназначенными для выполнения простых бытовых задач (открыть ворота гаража, когда подъезжает машина, включить свет по датчику движения или по команде, следить за температурой в помещении), то под IIoT — индустриальным интернетом вещей — обычно имеется в виду “оцифровка” данных с производств, на основе которых можно провести экспертный анализ, часто при помощи машинного обучения.

Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 16K
Комментарии 8

Apache NiFi. 28 ноября в лектории Deworkacy

Блог компании Ростелеком Open source *Конференции Микросервисы *
Привет!

Через две недели пройдет наш митап, посвященный Apache NiFi, полезному OpenSource-инструменту по доставке данных. Поговорим о живых кейсах и обсудим различные технические подходы его использования.

Спикеров будет 4, один человек от нас и коллеги по цеху от Центра разработки Тинькофф, ЭР-Телеком и Аренадата Софтвер.



Под катом — список докладов и ссылка на регистрацию.
Читать дальше →
Всего голосов 21: ↑19 и ↓2 +17
Просмотры 1.6K
Комментарии 2

Импорт ЕГРЮЛ ФНС средствами Apache NiFi. Шаг 1 — загрузка файлов по HTTPS

Apache *Big Data *Хранение данных *Микросервисы *

В одном из проектов возникла необходимость перевести процессы импорта данных сторонних систем на микросервисную архитектуру. В качестве инструмента выбран Apache NiFi. В качестве первого подопытного выбран импорт ЕГРЮЛ ФНС.


Данные ЕГРЮЛ публикуются в виде XML-файлов, упакованных в ZIP-архивы. Архивы ежедневно выкладывают на ресурс https://ftp.egrul.nalog.ru/ в отдельный каталог для соответствующей даты. Для доступа выдается ключ #PKCS12.


Задача, которую необходимо решить с помощью NiFi — загрузка файлов с ресурса ФНС и подготовка загруженных данных для импорта в наши сервисы. В данной статье описан способ реализации загрузки файлов.

Читать дальше →
Всего голосов 3: ↑1 и ↓2 -1
Просмотры 3.5K
Комментарии 8

Импорт ЕГРЮЛ ФНС средствами Apache NiFi. Шаг 2 — преобразование XML в JSON

Apache *Big Data *Хранение данных *Микросервисы *

В одном из проектов возникла необходимость перевести процессы импорта данных сторонних систем на микросервисную архитектуру. В качестве инструмента выбран Apache NiFi. В качестве первого подопытного выбран импорт ЕГРЮЛ ФНС.


В предыдущей статье было описано, как получить файлы XML с данными ЕГРЮЛ, которые требуется импортировать.


В данной статье описан способ преобразования XML в JSON.


Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 2.3K
Комментарии 3

Как писать свой процессор или расширяем функционал в NiFi

Блог компании Ростелеком Open source *Apache *Big Data *
Recovery mode
Все большую популярность набирает NiFi и с каждым новым релизом он получает все больше инструментов для работы с данными. Тем не менее, может появиться необходимость в собственном инструменте для решения какой-то специфичной задачи.



Apache Nifi имеет в базовой поставке более 300 процессоров.

NiFi Processor это основной строительный блок для создания dataflow в экосистеме NiFi. Процессоры предоставляют интерфейс, через который NiFi обеспечивает доступ к flowfile, его атрибутам и содержимому. Собственный кастомный процессор позволит сэкономить силы, время и внимание пользователей, так как вместо множества простейших элементов-процессоров будет отображаться в интерфейсе и выполняться всего один (ну или сколько напишете). Так же, как и стандартные процессоры, кастомный процессор позволяет выполнять различные операции и обрабатывать содержимое flowfile. Сегодня мы поговорим о стандартных инструментах для расширения функционала.
Читать дальше →
Всего голосов 14: ↑12 и ↓2 +10
Просмотры 3.7K
Комментарии 1

Побег от скуки — процессы ETL

Big Data *
Из песочницы
Tutorial

В конце зимы и начале весны, появилась возможность поработать с новым для меня инструментом потоковой доставки данных Apache NiFi. При изучении инструмента, все время не покидало ощущение, что помимо официальной документации, нелишним были бы материалы "for dummies", с практическими примерами.


После выполнении задачи, решил попробовать облегчить вхождение в мир NiFi.

Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 5.4K
Комментарии 15

Автоматизация аналитики Jira средствами Apache NiFi

Apache *Atlassian *
Приветствую, господа. Я Маша, мне 23, и я уже полгода изучаю и внедряю на практике Apache NiFi.

В тот час, когда технически Apache NiFi — мощное связующее звено между различными сервисами (осуществляет обмен данными между ними, по пути позволяя их обогащать и модифицировать), смотрю я на него с точки зрения аналитика. А все потому, что NiFi весьма удобный инструмент для ETL. В часности, в команде мы ориентируемся на построение им SaaS архитектуры.

Опыт автоматизации одного из своих рабочих процессов, а именно формирование и рассылка еженедельной отчетности по Jira Software, я и хочу раскрыть в данной статье. К слову, методику аналитики таск-треккера, которая наглядно отвечает на вопрос — а чем же занимаются сотрудники — я также опишу и опубликую в ближайшее время.

Несмотря на посвящение данной статьи новичкам, считаю правильным и полезным если более опытные архитекторы (гуру, так скажем) отрецензируют ее в кромментариях или поделятся своими кейсами использования NiFi в различных сферах деятельности. Много ребят, включая меня, скажет вам спасибо.
Читать дальше →
Всего голосов 16: ↑14 и ↓2 +12
Просмотры 3K
Комментарии 13

Чем заняты сотрудники? Анализируем Jira Software

R *Управление проектами *Atlassian *
Таск-треккер как исправный источник данных для стратегического управления. Звучит красиво. А в нашей компании это даже работает и приносит пользу.

Данная статья является углублением к предыдущей: Автоматизация аналитики Jira средствами Apache NiFi. Теперь хочу подробнее раскрыть наш взгляд на отчетность по Jira Software и опыт ее реализации при помощи R. Язык тут, конечно же, не догма. Сегодня наше все — это концепция.
Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 6.1K
Комментарии 1

Импорт ЕГРЮЛ ФНС средствами Apache NiFi. Шаг 3 — преобразование JSON с помощью JOLT

Apache *Big Data *Хранение данных *Микросервисы *

В одном из проектов возникла необходимость перевести процессы импорта данных сторонних систем на микросервисную архитектуру. В качестве инструмента выбран Apache NiFi. В качестве первого подопытного выбран импорт ЕГРЮЛ ФНС.

В предыдущей статье был описан способ преобразования XML в JSON с использованием AVRO schema.

В данной статье описан способ преобразования JSON с помощью JOLT спецификации.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 1.7K
Комментарии 2

Готовим Json в Apache NiFi или снова Jolt Transform

Big Data *Data Engineering *
✏️ Технотекст 2021
Tutorial

Пример использования процессора JoltTransformJson в Apache NiFi. Можно рассматривать как небольшой туториал по использованию Jolt-спецификаций.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.7K
Комментарии 3

Загрузка stage слоя DWH. Часть 1

Open source *Data Engineering *Визуальное программирование *
Из песочницы

Доброго дня. Меня зовут Иван Клименко, я разработчик потоков обработки данных в компании Аскона. В этом цикле статей я расскажу опыт внедрения инструмента Apache Nifi для формирования DWH. 

Данная статья посвящена первому этапу внедрения Apache NIFI - начальным потокам выгрузки, внедрению инкрементальной загрузки, и описанию существующей архитектуры.

Читать далее
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 1.9K
Комментарии 5

Загрузка stage слоя DWH. Часть 2

Open source *Apache *Data Engineering *Визуальное программирование *

Всем доброго дня. Я Иван Клименко, и я разработчик потоков данных в компании Аскона. Данная статья посвящена параметризации NIFI-потока и информированию СУБД об окончании загрузки.

Продолжаю рассказывать о разработке потоков ETL на Apache NIFI. Первая статья была более общей, в текущей я более подробно остановлюсь на параметрах процессоров в основных шагах, о применил атрибутов, как средства параметризации выполнения потока, и о применил для внесения в целевую систему с процессора PutDatabaseRecord.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 934
Комментарии 0