Профилирование Python — почему и где тормозит ваш код

[SergeiMinaev]

Если не ошибаюсь, в примере с пулом процессов переключение между процессами делается слишком часто. Если в calc_num_matches передавать не одну строку, а chunk из 1000-5000 строк, то работает ещё в 2 раза быстрее.

[babenek]

cProfile, по моему опьіту, неправильно подсчитьівает время функций. Случалось, что после рефакторинга профайлер показьівал ускорение, но простой хронометраж - наоборот замедление :(

[Groosha]

Хорошо бы ещё почитать про анализ потребления памяти, это тоже полезно, особенно когда начинаешь ловить OOM. Я пока нашёл такое решение:

Шаг 1: pip install memory_profiler
Шаг 2: В коде from memory_profiler import profile
Шаг 3: В коде навешиваем декоратор @profile над нужными функциями (если не вешать, чуда не будет)
Шаг 4: Запускаем python -m memory_profiler your_script <your_args>
Шаг 5: Ждём, наслаждаемся выводом на экран

P.S. Судя по PyPi сама либа уже никем не сопровождается. Но пока работает (проверял на Python 3.11.2)

[astromid]

Для профилирования использования памяти Python есть как минимум несколько инструментов:

1. Вышеупомянутый Scalene (https://github.com/plasma-umass/scalene) умеет профилировать память

2. Pympler https://github.com/pympler/pympler

3. Filprofiler https://github.com/pythonspeed/filprofiler

4. Memray https://github.com/bloomberg/memray

У них у всех есть разные плюсы и минусы (оверхед, подсчет использования памяти во внешнем коде и тредах/процессах итп), так что стоит сравнить что будет удобнее в конкретном случае

[u007]

99,999 % времени исполнения моего скрипта (14 секунд) занимает строчка:

import pandas

[slonopotamus]

Q: Профилирование Python — почему и где тормозит ваш код
A: Потому что он написан на Python

[Stanislavvv]

Не всегда. Иногда - потому что так написаны запросы к БД.

[slonopotamus]

Ну в статье такой случай не рассматривают.

[Stanislavvv]

А зря... Если использовать питона по назначению — отдавать данные из базы в апи через библиотеки на сях, то проблемы производительности обычно вне питона. Писать же сложные алгоритмы для хайлоада на чистом питоне — извращение.