pushtaev 8 мая 2019 в 11:06

Подборка @pythonetc, апрель 2019

4 мин

6.9K

Блог компании VKPython*Программирование*

Это десятая подборка советов про Python и программирование из моего авторского канала @pythonetc.

Предыдущие подборки.

Хранение и отправка объектов по сети в виде байтов — это очень большая тема. Для этих целей в Python обычно используется ряд инструментов, давайте обсудим их достоинства и недостатки.

В качестве примера я попробую сериализовать объект Cities, который содержит объекты City, расположенные в определённом порядке. Можно воспользоваться четырьмя подходами:

1. JSON. Человекочитаемый, простой в использовании, но потребляет много памяти. То же самое справедливо в отношении форматов YAML и XML.

class City:
    def to_dict(self):
        return dict(
            name=self._name,
            country=self._country,
            lon=self._lon,
            lat=self._lat,
        )

class Cities:
    def __init__(self, cities):
        self._cities = cities

    def to_json(self):
        return json.dumps([
            c.to_dict() for c in self._cities
        ]).encode('utf8')

2. Pickle. Это нативный инструмент Python, настраиваемый, потребляет меньше памяти, чем JSON. Недостаток: для извлечения данных нужно использовать Python.

class Cities:
    def pickle(self):
        return pickle.dumps(self)

3. Protobuf (и прочие бинарные сериализаторы, например, msgpack). Потребляет ещё меньше памяти, может использоваться из любого языка программирования, но требует написания явной схемы:

syntax = "proto2";


message City {
    required string name = 1;
    required string country = 2;
    required float lon = 3;
    required float lat = 4;
}

message Cities {
    repeated City cities = 1;
}

class City:
    def to_protobuf(self):
        result = city_pb2.City()
        result.name = self._name
        result.country = self._country
        result.lon = self._lon
        result.lat = self._lat

        return result

class Cities:
    def to_protobuf(self):
        result = city_pb2.Cities()
        result.cities.extend([
            c.to_protobuf() for c in self._cities
        ])

        return result

4. Вручную. Вы можете вручную упаковывать и распаковывать данные с помощью модуля struct. Так можно добиться минимально возможного потребления памяти, однако иногда лучше воспользоваться protobuf, поскольку он поддерживает версионирование и явные схемы.

class City:
    def to_bytes(self):
        name_encoded = self._name.encode('utf8')
        name_length = len(name_encoded)

        country_encoded = self._country.encode('utf8')
        country_length = len(country_encoded)

        return struct.pack(
            'BsBsff',
            name_length, name_encoded,
            country_length, country_encoded,
            self._lon, self._lat,
        )

class Cities:
    def to_bytes(self):
        return b''.join(
            c.to_bytes() for c in self._cities
        )

Если аргумент функции имеет значение по умолчанию None и аннотирован как T, тогда mypy автоматически будет считать его Optional[T] (то есть Union[T, None]).

С другими типами это не работает, так что у вас не получится написать что-нибудь вроде f(x: A = B()). Также этот трюк не работает с присвоением переменной: a: A = None приведёт к ошибке.

def f(x: int = None):
    reveal_type(x)

def g(y: int = 'x'):
    reveal_type(y)

z: int = None
reveal_type(z)

$ mypy test.py
test.py:2: error: Revealed type is 'Union[builtins.int, None]'
test.py:4: error: Incompatible default for argument "y" (default has type "str", argument has type "int")
test.py:5: error: Revealed type is 'builtins.int'
test.py:7: error: Incompatible types in assignment (expression has type "None", variable has type "int")
test.py:8: error: Revealed type is 'builtins.int'

***

В Python 3, при выходе из блока except переменные, хранящие пойманные исключения, удаляются из locals(), даже если они уже существовали:

>>> e = 2
>>> try:
...     1/0
... except Exception as e:
...     pass
... 
>>> e
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'e' is not defined

Если хотите сохранить ссылку на исключение, нужно использовать другую переменную:

>>> error = None
>>> try:
...     1/0
... except Exception as e:
...     error = e
... 
>>> error
ZeroDivisionError('division by zero',)

В Python 2, однако, этого не происходит.

Вы можете легко сделать свой собственный pypi-репозиторий. Он позволяет выпускать пакеты внутри вашего проекта и устанавливать их с помощью pip, как если бы они были обычными пакетами.

Важно отметить, что вам не нужно устанавливать какое-то особое ПО, вы можете использовать обычный HTTP-сервер. Вот как это работает у меня.

Возьмём примитивный пакет pythonetc.

setup.py:

from setuptools import setup, find_packages

setup(
    name='pythonetc',
    version='1.0',
    packages=find_packages(),
)

pythonetc.py:

def ping():
    return 'pong'

Сделаем его релиз в директорию ~/pypi:

$ python setup.py sdist bdist_wheel
…
$ mv dist ~/pypi/pythonetc

И начнём предоставлять пакет с домена pypi.pushtaev.ru с помощью nginx:

$ cat /etc/nginx/sites-enabled/pypi
server {
        listen 80;
        server_name pypi.pushtaev.ru;
        root /home/vadim/pypi;

        index index.html index.htm index.nginx-debian.html;

        location / {
                autoindex on;
                try_files $uri $uri/ =404;
        }
}

Теперь пакет можно установить:

$ pip install -i http://pypi.pushtaev.ru --trusted-host pypi.pushtaev.ru pythonetc
…
Collecting pythonetc
  Downloading http://pypi.pushtaev.ru/pythonetc/pythonetc-1.0-py3-none-any.whl
Installing collected packages: pythonetc
Successfully installed pythonetc-1.0
$ python
Python 3.7.0+ (heads/3.7:0964aac, Mar 29 2019, 00:40:55)
[GCC 4.9.2] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pythonetc
>>> pythonetc.ping()
'pong'

Часто нужно объявлять словарь с ключами, одноименными локальным переменным. Например:

dict(
    context=context,
    mode=mode,
    action_type=action_type,
)

В ECMAScript для таких случаев даже есть специальная форма литерала object (называется Object Literal Property Value Shorthand):

> var a = 1;
< undefined
> var b = 2;
< undefined
> {a, b}
< {a: 1, b: 2}

Можно создать такой же помощник и в Python (увы, он вовсе не так хорош, как нотация в ECMAScript):

def shorthand_dict(lcls, names):
    return {k: lcls[k] for k in names}

context = dict(user_id=42, user_ip='1.2.3.4')
mode = 'force'
action_type = 7

shorthand_dict(locals(), [
    'context',
    'mode',
    'action_type',
])

Вы можете спросить, зачем передавать locals() в качестве параметра? А можно получать locals вызывающего объекта в вызываемом? Можно, но придётся воспользоваться модулем inspect:

import inspect

def shorthand_dict(names):
    lcls = inspect.currentframe().f_back.f_locals
    return {k: lcls[k] for k in names}

context = dict(user_id=42, user_ip='1.2.3.4')
mode = 'force'
action_type = 7

shorthand_dict([
    'context',
    'mode',
    'action_type',
])

Можно пойти ещё дальше и применить такое решение — https://github.com/alexmojaki/sorcery:

from sorcery import dict_of
dict_of(context, mode, action_type)

Теги:

Хабы:

Подборка @pythonetc, апрель 2019

Публикации

Информация