Динамический импорт модулей в Python
Давайте представим ситуацию, когда вам нужно установить на все виртуальные машины (агенты сервера сборки) определенный пакет Python. Но вы не можете изменить образ агента, а загрузка, к примеру из pypi.org или github.com непроверенных пакетов, ограничена. Как тут не вспомнить последние новости про вредоносные изменения в пакете nmp или более свежую информацию про PyPi.
Python использует подход под названием EAFP — Easier to ask for forgiveness, than permission (легче попросить прощения, чем разрешения). Это значит, что проще предположить, что что-то существует (к примеру, словарь в словаре, или в нашем случае модуль в системе) или получить ошибку в противном случае.
Этот подход, развитый в PEP-0302, позволяет делать хук импорта модулей, что в итоге приводит нас к возможности написания следующего кода:
from <какое-то хранилище> import <модуль>
Поскольку я часто сталкиваюсь с автоматизацией развертывания CI/CD с помощью Bamboo, то для меня естественным решением было разместить код выверенного модуля в артефактах JFrog и написать (согласно PEP-0302) классы finder и loader для загрузки и установки модулей. В моем случае код импорта модулей выглядит следующим образом:
from <artifactory_local.path_to_ artifactory> import <module_tar_gz>
Согласно PEP-0302 в протоколе участвуют два класса: finder
и loader
.
Продемонстрирую модуль amtImport.py, реализующий работу этих классов:
import sys
import pip
import os
import requests
import shutil
class IntermediateModule:
"""
Module for paths like `artifactory_local.path`
"""
def __init__(self, fullname):
self.__package__ = fullname
self.__path__ = fullname.split('.')
self.__name__ = fullname
class ArtifactoryFinder:
"""
Handles `artifactory_local....` modules
"""
def find_module(self, module_name, package_path):
if module_name.startswith('artifactory_local'):
return ArtifactoryLoader()
class ArtifactoryLoader:
"""
Installs and imports modules from artifactory
"""
artifactory_modules: list = []
def _is_installed(self, fullname):
try:
self._import_module(fullname)
ArtifactoryLoader.artifactory_modules.append(fullname)
return True
except ImportError:
return False
def _import_module(self, fullname):
actual_name = '.'.join(fullname.split('.')[2:])
actual_name = actual_name.replace('_', '.').split('.')[0]
return __import__(actual_name)
def _install_module(self, fullname):
if not self._is_installed(fullname):
actual_name = '.'.join(fullname.split('.')[2:])
url = fullname.replace('artifactory_local', '').replace(actual_name, '').replace('_', '/')
actual_name = actual_name.replace('_', '.')
url = 'https://artifactory.app.local' + url.replace('.', '/') + actual_name
auth = (os.getenv("bamboo_artifactory_user_name"), os.getenv("bamboo_artifactory_access_token_secret"))
file_name = f"{os.getenv('bamboo_build_working_directory')}/{actual_name}"
with requests.get(url=url, auth=auth, stream=True) as r:
if r.status_code != 200:
raise Exception(f"Status code {r.status_code}: {r.reason}")
with open(file_name, 'wb') as f:
shutil.copyfileobj(r.raw, f)
pip.main(['install', file_name])
ArtifactoryLoader.artifactory_modules.append(fullname)
def _is_repository_path(self, fullname):
return fullname.count('.') == 2
def _is_intermediate_path(self, fullname):
return fullname.count('.') < 2
def load_module(self, fullname):
if self._is_repository_path(fullname):
self._install_module(fullname)
if self._is_intermediate_path(fullname):
module = IntermediateModule(fullname)
else:
module = self._import_module(fullname)
sys.modules[fullname] = module
sys.meta_path.append(ArtifactoryFinder())
(Код тестировался для Python 3.6)
Итог: динамический импорт из артефактов можно лаконично оформить следующим кодом:
from amtImport import ArtifactoryLoader
# pyright: reportMissingImports=false, reportUnusedImport=false
from artifactory_local.artifactory_amt_Sealed import smbprotocol_1_9_0_tar_gz
if "artifactory_local.artifactory_amt_Sealed.smbprotocol_1_9_0_tar_gz" in ArtifactoryLoader.artifactory_modules:
print("Package successfully loaded")
Используя аналогичный подход, можно организовать импорт модулей из любого другого источника.
P.S. Основой для данной статьи послужил пакет import_from_github_com.