Обновить
4K+
6
Шамиль Абдулаев@ashm_tech

Software Engineer

9
Рейтинг
2
Подписчики
Отправить сообщение

Как ускорить асинхронные генераторы в CPython на 40%, выкинув скрытые исключения

Уровень сложностиСредний
Время на прочтение3 мин
Охват и читатели4.9K

Недавно я гонял бенчмарки на свежей сборке CPython (ветка с tail-call интерпретатором, PGO + LTO, GCC) и снял флеймграф стандартного бенчмарка async_generators из набора pyperformance (рекурсивный обход дерева на 100 000 нод с глубиной вложенности ~17).

Картина на профиле оказалась фееричной: почти треть всего процессорного времени (29%) сжиралась кодом, который вообще не делал никакой полезной работы.

Рантайм создавал, настраивал, а затем тут же уничтожал объекты исключений StopIteration, о существовании которых Python-код даже не догадывался.

Ниже о том, откуда растут ноги у этой проблемы в Си-коде CPython и как пара правок в genobject.c дали ускорение в 1.33x — 1.53x.

Углубиться в кишки CPython

Информация

В рейтинге
755-й
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
Дата рождения
Зарегистрирован
Активность

Специализация

Бэкенд разработчик, Фулстек разработчик
Ведущий
Git
Python
SQL
PostgreSQL
Linux
Docker
Java
ООП
Redis
Apache Kafka