В этой статье поговорим о том, как можно ускорить свой Python код при помощи библиотек, скомпилированных с помощью Nim.
Также узнаем, какие библиотеки на Python написаны с помощью Nim и даже напишем свой небольшой модуль.
Подготовка
Для того, чтобы начать - необходимо поставить Nim. Если он у вас уже есть - отлично, идем дальше.
Все действия ниже будут производиться с Nim 2.0.0 и с Python 3.10.9.
С помощью пакетного менеджера nimble ставим пакет nimpy, с помощью которого мы сможем разрабатывать Python библиотеки на Nim.
nimble install nimpyПереходим к Python и возьмем какой-нибудь алгоритм для замера производительности, например фибоначчи. Создадим файл fib.py и напишем саму функцию.
def fib(n: int) -> int:
if n == 0:
return 0
elif n < 3:
return 1
return fib(n - 1) + fib(n - 2)Теперь вернемся к Nim и создадим файл nimfib.nim. Как это будет выглядеть здесь?
import nimpy # импортируем библиотеку nimpy
# Объявляем функцию fib(n)
func fib(n: int): int {.exportpy.} =
if n == 0:
return 0
elif n < 3:
return 1
return fib(n - 1) + fib(n - 2)Выглядит действительно схоже, не так ли? Попробуем скомпилировать в python библиотеку:
nim c -o:nimfib.pyd --tlsEmulation:off --passL:-static --threads:on --app:lib -d:danger --opt:speed nimfibЭту команду можно вынести в отдельный файл.
Для Unix систем команда выше выглядит следующим образом:
nim c -o:nimfib.so --app:lib -d:danger --threads:on --opt:speed nimfibПри компиляции с помощью
--threads:onNim будет подставлять--tlsEmulation:on(только для Windows), что предотвращает правильную инициализацию среды выполнения Nim при вызове из внешнего потока (что всегда имеет место в случае модуля Python).
Теперь посмотрим, насколько быстро работают Nim и Python. Для этого ставим пакеты pytest и pytest-benchmark.
pip install pytest pytest-benchmarkСоздадим файл main.py:
from timeit import default_timer
import pytest
import fib
import nimfib
@pytest.mark.benchmark(group="fibonacci", timer=default_timer)
def test_py_fib(benchmark):
result = benchmark(fib.fib, 35)
@pytest.mark.benchmark(group="fibonacci", timer=default_timer)
def test_nim_fib(benchmark):
result = benchmark(nimfib.fib, 35)Теперь запустим это через pytest:
pytest main.pyА вот и результаты:
--------------------------------------------------------------------------------- benchmark 'fibonacci': 2 tests ---------------------------------------------------------------------------------
Name (time in ms) Min Max Mean StdDev Median IQR Outliers OPS Rounds Iterations
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
test_nim_fib 93.4353 (1.0) 117.2837 (1.0) 102.3561 (1.0) 7.9790 (1.0) 99.2676 (1.0) 11.3069 (1.0) 3;0 9.7698 (1.0) 9 1
test_py_fib 2,986.7212 (31.97) 3,013.6137 (25.70) 2,998.6946 (29.30) 11.7603 (1.47) 3,001.7616 (30.24) 20.1307 (1.78) 3;0 0.3335 (0.03) 5 1
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Legend:
Outliers: 1 Standard Deviation from Mean; 1.5 IQR (InterQuartile Range) from 1st Quartile and 3rd Quartile.
OPS: Operations Per Second, computed as 1 / Mean
====================================================================== 2 passed in 23.19s =======================================================================Как вы можете видеть - Nim, скомпилированный в C быстрее Python в 30 раз.
Если мы скомпилируем Nim в C++ (заменив nim c на nim cpp), то получим уже следующие результаты:
--------------------------------------------------------------------------------- benchmark 'fibonacci': 2 tests ---------------------------------------------------------------------------------
Name (time in ms) Min Max Mean StdDev Median IQR Outliers OPS Rounds Iterations
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
test_nim_fib 9.4439 (1.0) 14.0821 (1.0) 9.7844 (1.0) 0.7489 (1.0) 9.5708 (1.0) 0.1119 (1.0) 7;15 102.2032 (1.0) 106 1
test_py_fib 3,003.1009 (317.99) 3,016.5476 (214.21) 3,009.6761 (307.60) 5.4503 (7.28) 3,010.4404 (314.55) 8.8961 (79.50) 2;0 0.3323 (0.00) 5 1
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Legend:
Outliers: 1 Standard Deviation from Mean; 1.5 IQR (InterQuartile Range) from 1st Quartile and 3rd Quartile.
OPS: Operations Per Second, computed as 1 / Mean
====================================================================== 2 passed in 23.19s ======================================================================= Разница в 300 раз, действительно впечатляет. Конечно, вы можете ускорить его еще больше, если хотите - у Nim достаточно параметров для компиляции.
Перейдем к более реальным примерам
Готовые библиотеки
Есть несколько реальных примеров использования nimpy для разработки Python библиотек:
faster-than-requests (исходный код) - тот же requests, но написан на Nim.
faster-than-csv (исходный код) - тот же csv, но на Nim.
nimporter (исходный код) - утилита, с помощью которой можно импортировать Nim файлы напрямую в Python. Компиляция происходит автоматически.
HappyX (исходный код) - веб-фреймворк, написанный на Nim и доступный как для Python, так и для NodeJS и JVM.
pyMeow (исходный код) - библиотека для написания читов с помощью Raylib, Python и Nim.
Кошки, собаки и Python классы
Давайте попробуем создать на стороне Nim объект Entity. Создадим файл entity.nim:
import nimpy
import strformat
type
Entity* = ref object of PyNimObjectExperimental
health: int
maxHealth: int
damage: int
name: string
proc initEntity*(name: string, health: int, damage: int = 1): Entity {.exportpy: "create_entity".} =
return Entity(
name: name,
health: health,
maxHealth: health,
damage: damage
)
proc isAlive*(self: Entity): bool {.exportpy: "is_alive".} =
return self.health > 0
proc hit*(self: Entity, other: Entity) {.exportpy.} =
# Примитивная логика получения удара
other.health -= self.damage
if other.health <= 0:
echo fmt"{other.name} погиб в бою от руки {self.name} ?"
else:
echo fmt"{other.name} получает {self.damage} урона от {self.name} ⚔"
proc name*(self: Entity): string {.exportpy.} =
return self.nameТеперь скомпилируем:
nim c -o:entity.pyd --tlsEmulation:off --passL:-static --app:lib entityИ попробуем в Python:
import entity
dog = entity.create_entity("Собака", 10)
cat = entity.create_entity("Кот", 4, 2)
while dog.is_alive() and cat.is_alive():
dog.hit(cat)
cat.hit(dog)
if dog.is_alive():
print(f"{dog.name()} одержал победу!")
else:
print(f"{cat.name()} одержал победу!")Как можно заметить - при создании собаки мы отправили лишь 2 аргумента из трех, потому что в create_entity у аргумента damage есть значение по умолчанию.
Запускаем и видим результат:
Кот получает 1 урона от Собака ⚔
Собака получает 2 урона от Кот ⚔
Кот получает 1 урона от Собака ⚔
Собака получает 2 урона от Кот ⚔
Кот получает 1 урона от Собака ⚔
Собака получает 2 урона от Кот ⚔
Кот погиб в бою от руки Собака ?
Собака получает 2 урона от Кот ⚔
Собака одержал победу!Заключение
Да, с помощью Nim можно создавать модули для Python, однако нужно понимать, что не для всего подойдет расширение на C/C++. В основном это какие-то низкоуровневые операции, работа с потоками и прочие cpu-bound вычисления.
