Аналитика рынка профессии с историей (Yandex Data Lake + Power BI)

[HexExort]

а итоги то можно посмотреть?) какая аналитика рынка профессий то в итоге?

[220-380]

Если вы про написание самих выводов, то их может быть много, всего не опишешь. Я старался сделать упор на саму архитектуру. А выводы каждый сделает сам, просматривая дашборд (ссылка не него есть в статье), те выводы которые ему нужны.

[Trabant_Vishnya]

А что тут кардинально нового в инфраструктуре, что этому целая статья посвящена? Вы бы хоть модель данных показали

[220-380]

Какая модель данных :-). Только витрина.

[ant_sol]

Другими словами, при нажатии кнопки Обновить все данные в дашборде перезатрутся. 

Используйте инкрементальное обновление в power bi service на основе потоков данных ?

Для вашего проекта этого будет достаточно и не нужно dwh городить

[220-380]

Это было бы хороший вариант, но инкрементальное обновление не работает с источником Power BI как "Интернет", API сайта возвращает json. Или сейчас они уже что-то доработали?
Тут еще и второй пункт, потоки данных это 240$ в год.

[Trabant_Vishnya]

10 per User, Dataflows есть и в Pro версии
Тут уж как по кол-ву учеток пойдет.
Если совсем жаться, то можно через Free версию на остальных распространять через publish to web, но страдает security.

[220-380]

Из туториала по Power BI
"Добавочное обновление (только для выпуска Premium). Для потоков данных можно также настроить добавочное обновление. ". Это 240 в год.
Вы бы сделали сначала, что советуете, чтобы быть уверенным в своих словах.

[Trabant_Vishnya]

Incremental refresh можно и не через PBI средства делать.
С Yandex Data lake не пробовал, конечно, а вот использовать фичи Azure для этого можно.
Ссылка с Яндекс.Директом, там пробовал и реализовывал сам, имея на руках ту самую Pro.

[Yo1]

я не особо заморачивался с доступом

а каковы шансы настроить с ключами ?

[220-380]

Думаю, вполне реально. Функции Python работают с ключами. Место без ключа - это подключение Power BI к облаку: подключение к одному файлу parquet. Если настроите, то дайте знать.