Как переписать SQL-запросы на Python с помощью Pandas

[arrakisfremen]

Что-то среднее между LINQ и языком запросов в MongoDB

[unfilled]

Код скриншотами — здорово придумано. С телефона так вообще самое то.

[edo1h]

а как удобно копировать чтобы попробовать у себя

[gonchik]

отличная идея

[wadik69]

Что Вы имеете ввиду под исходниками? Данные, которые подаются на вход?

[wadik69]

Ну да, хорошая идея!

[maslyaev]

А что с джойнами? Особенно интересует full outer

[bladeser]

И с джойнами тоже все хорошо.

titanic_df.join(some_df, on='some_column', how='outer')

Это если у some_df индекс совпадает с каким либо столбцом, или

titanic_df.merge(some_df, left_on='some_columnin_table1', right_on='some_columnin_table2' how='outer')

если это не так.

[j_e_s_t_e_r]

Использую в основном pandas для анализа логов интеграции, за пару недель, когда много данных ему плоховато становится, там уж лучше идти в сторону dask. А так, да, мне с pandas проще работать, чем с SQL, сразу можно и картинку данных увидеть и данные почистить, мне нравится.

[DenisSDK]

Теперь вы научились переписывать SQL-запросы на Python с помощью Pandas.

Что будет со скоростью обработки запросов? А таблицы миллионники?

[FRiMN]

Некропостю, для потомков ))

Всё плохо у pandas с большими объемами данных и их обработкой. Он очень чувствителен к памяти. Например, при парсинге даты, если не хватает памяти, то парсинг будет идти медленней чем на чистом питоне.

Pandas создан для аналитики, т.е. для свертки больших, возможно даже грязных данных в маленький конечный результат. Если же вам нужно обработать огромные данные целиком, то pandas вам скорее всего не подойдет.

[bladeser]

Зато он быстрый на небольших данных, удобный и не имеет такого зверски медленного отклика как спарк или даск.

[HemulGM]

Зачем очередной синтаксис? Зачем из простого делать сложное?
Зачем из понятной конституции "выбрать поле из таблица" делать — таблица(~таблица.поле)[@#₽&&₽#34#&&@24]? Зачем?

[art_app_mih]

Спасибо, давно искал!

[am-habr]

SQL — это идеальный интерфейс, который существует и развивается почти 40 лет.
Опираясь на особенности конкретной базы данных, можно добиться идеальной производительности нужного запроса.
Картинки подтверждают элегантность синтаксиса SQL.

[artemlight]

А ещё там в миллиард раз больше функционала, чем реализует большинство ORM.