Комментарии 13
То есть теперь оператору будет удобно смотреть, у кого из абонентов на счету лежит крупная сумма, чтобы сделать вывод:
- Это богатенький буратино, он положил на телефон денег с запасом, чтобы надолго хватило, и за счетом не следит. Можно втихаря подписать его на какую нибудь платную услугу. Авось не заметит?
Можно втихаря подписать его на какую нибудь платную услугу. Авось не заметит?
для минимизации "авось" нужно добавить статистики:
1) посещения личного кабинета
2) заказы детализаций по расходам
3) настроены автоплатежи или нет
4) частота обращений в техподдержку
Добрый день!
Как правило, операторы связи не хранят данные о номерах банковских карт своих клиентов в базе данных. Проект, описанный в данной статье, был разработан лишь для рассмотрения базового функционала инструмента. Данные были сгенерированы самостоятельно и представлены не в полном объеме.
долю клиентов, согласившихся на рекламные рассылки
А такие на самом деле есть, или просто это люди, которые не нашли, как отписаться от рассылки со стороны своего собственного оператора, и терпят/игнорируют или еще как-то сосуществуют с рекламными рассылками, а оператор думает, что они и правда "с радостью согласились"?
В какой программе дашборд делали?
Хм, вот так вот просто номер банковской карты туда сюда? Даже в банковской системе никогда не оперируют полным номером, а телеком операторы видимо не следят за безопасностью. Так и появляются случайно слитые csv.
Начиная с версии 2.0, в Airflow есть TaskFlowAPI, который позволяет описывать даги и таски как обычные функции Python, добавляя к ним декоратор @dag и @task. Это значительно сокращает переписывание шаблонного кода, передачу ненужных параметров наподобие dag_id и op_kwargs (первый определяется из вышестоящего дага при добавлении таска в него, а второй - из определения функции). Добавление таска - вызов функции, явная связь тасков - передача результата одной функции (таска) в аргументы другой безо всяких xcom_pull. С учётом того, что вторая версия вышла 3 года назад, странно до сих пор видеть нагромождение этих явных деклараций тасков.
Почему никто ещё не написал что статья похожа на курсовую работу первокурсника? А люди ещё и такими серьёзными вопросами задаются.. Тут про архитектуру на коленке написано. И никаких возможностей Airflow кроме того как сделать на нём свой pet-проект не обозначено. Таски "STAR" и "END", серьёзно? ?
Статья больше похожа на домашнее задание по курсу "Инженер/аналитик данных" )))
Почему-то нет DAGа который каждый час собирает данные, получается что сбор данных происходит за пределами Airflow? Тогда по-хорошему Airflow здесь вообще лишний, и питон лишний, если требуется просто откуда-то прочитать CSV и выполнить SQL-скрипт.
CSV - файлик в Постгрес загружается через Pandas, почему?
Выбор postgres для такой задачи тоже непонятен, для реального моб. оператора (десятки миллионов абонентов, возможно сотни миллионов событий) запросы будут медленными, тут лучше Кликхаус или что-то подобное.
Добрый день!
Спасибо за интерес к посту. Проект, описанный в данном посте, был создан в рамках ознакомления с базовым функционалом Apache Airflow. Код приведен в неполном объеме.
Было описано чтение данных непосредственно из csv файлов, расположенных в папке проекта. Однако, как правильно было замечено, смысла в такой реализации нет. В реальности данные обновляются постоянно и необходимо считывать их через определенные промежутки времени. В проекте была реализована функция чтения из облачного хранилища, где происходит постоянное обновление данных.
Создание витрины данных для телеком-оператора средствами Apache Airflow