Вникаю в подобную аналитику достаточно недавно. Сначала отбирал необходимые данные из выгрузок с помощью многоэтажных формул excel. Позже познакомился с power query и жизнь заиграла новыми красками, потому как в большинстве случаев файлы из монструозных по объему стали весить гораздо меньше, плюс можно автоматизировать очистку данных по определенному алгоритму. Но вот с действительно большими объемами даже PQ порой жалуется на недостаток памяти (возможно цепочку запросов можно как-то оптимизировать, но я пока не слишком силен в этом). В связи с чем вопрос к более опытным: отрабатывает ли python быстрее PQ большие объемы данных? И если да, посоветуете литературу или статьи с которых стоит начать погружение в язык в этом направлении (на данном этапе python фактически не знаю). Может быть есть ещё какой-нибудь софт/язык/надстройка, которые великолепно справляются с обработкой и анализом данных?
Спасибо за данное направление и напутствие
Спасибо за развернутый ответ и за заданное направление
Вникаю в подобную аналитику достаточно недавно. Сначала отбирал необходимые данные из выгрузок с помощью многоэтажных формул excel. Позже познакомился с power query и жизнь заиграла новыми красками, потому как в большинстве случаев файлы из монструозных по объему стали весить гораздо меньше, плюс можно автоматизировать очистку данных по определенному алгоритму. Но вот с действительно большими объемами даже PQ порой жалуется на недостаток памяти (возможно цепочку запросов можно как-то оптимизировать, но я пока не слишком силен в этом). В связи с чем вопрос к более опытным: отрабатывает ли python быстрее PQ большие объемы данных? И если да, посоветуете литературу или статьи с которых стоит начать погружение в язык в этом направлении (на данном этапе python фактически не знаю). Может быть есть ещё какой-нибудь софт/язык/надстройка, которые великолепно справляются с обработкой и анализом данных?