devsolution24 ноя 2020 в 08:03

Дизайн и подходы создания Big Data пайплайнов

23 мин

10K

Big Data * Data Engineering * Data Mining * Анализ и проектирование систем *

Перевод

+10

Комментарии 4

AlexTheLost 27 ноя 2020 в 11:35

Статья если честно — чрезмерно водянистая. Можно было её свести к трем коротким пунткам, используетй SQL+Python+Airflow.

Ivan22 5 мая 2021 в 08:57

статья отличная и недооцененная

drfragg 26 фев 2021 в 11:45

Нужен ваш совет или подсказка куда копать:
Поступают данные о товарах и их нужно разбивать по категориям. Насколько понимаю это близко к подходу Data mapping. В каком инструменте можно получить некатегоризированные данные, проассоциировать их с категорией, а далее такая ассоциация занеслась в реестр и ассоциирование шло автоматически?
И такую задачу выполнять ежедневно пополняя реестр.

Ivan22 5 мая 2021 в 08:57

если категоризация с помощью ML — то это задача кластеризации. Думаю проще всего на питоне писать. Если надо вручную — это MDM с UI — рекомендую майкрософтовский MDS

Зарегистрируйтесь на Хабре, чтобы оставить комментарий