Асинхронный python без головной боли (часть 1)

Очень познавательно, спасибо!

Лично у меня трудность возникает не в том, что это какой-то сложный механизм, а банально в том, что нужны специальные асинхронные функции, для большинства штук асинхронных библиотек нет, в итоге никакой пользы получить от этой фичи нельзя, а более практичным оказывается тупо multiprocessing.

В Linux доступ к файловой системе по определению не асинхронный,

В линуксе много разных методов. Вы говорите про posix, который Линукс (большей частью) поддерживает. Про io_uring выше комментарий.

Было бы здорово добавить после функций то, что выводилось в консоль. Особенно важно видеть время выполнения функций.

Отличная статья! Прочёл с удовольствием!

зануда_mode = on

Пример 2.3

используются три функции библиотеки asyncio вместо одной run в предыдущем примере.

в примере 2.2 используются asyncio.create_task, asyncio.run, asyncio.sleep. Вероятно, подразумевалось, что все убрано в функции и в главной функции вызывается только одна функция asyncio.

зануда_mode = off

вопрос по тексту, можно ли в Пример 5.2?

async def main(cities_):
  for city in cities_:
    await asyncio.create_task(get_weather(city))

и если да, то можно ли:

async def main(cities_):
  yield from (await asyncio.create_task(get_weather(city)) for city in cities)

но, поскольку, возвращаем "Task" зачем тогда async в main

def main(cities_):
  yield from (asyncio.create_task(get_weather(city)) for city in cities)

Или я что-то упустил?

Статья, вероятно, хорошая (давно хотел погрузиться в асинхронность), но после запуска примера 2.2 я действительно получил сюрприз:

А после запуска примера 2.3 было принято волевое решение дальше не читать (очень жаль):

Автор, вот встретились бы лично - пожал бы руку!!! Только недавно с этим асинх боролся и тут такой подарок! Лучи добра тебе!:)

Суперская статья! Действительно самое простое объяснение из тех что я видел

Не понял логики разработчиков библиотеки: зачем нужно каждую функцию отправлять в asyncio.create_task, ведь функция и так объявлена как asinc - увидели, что запускаем asinc -функцию, и выполняйте create_task и всё, что нужно, но под капотом…?

Столько коментариев, а про twisted даже никто и не вспомнил. Хотя он с в сравнении с asyncio как мерседес с запорожцем. По поводу введения в асинхронное программирование есть отличная статья https://glyph.twistedmatrix.com/2014/02/unyielding.html . Async/await + asyncio хорош тем, что человек ранее писавший только синхронный код легко его может начать писать асинхронный. Но вот дальше будут проблемы с тем, что большинство не понимает в каком контексте этот асинхронный код запускается и что сломается если такой обработчик заблокируется и/или в какой момент передается/возвращается управление в event_loop.

Ну и в отличии от twisted asyncio это голый event-loop без асинхронной реализации библиотек, протоколов и тд.

@vlakir читаю ваши слова:

Сплошь и рядом корутиной называют саму функцию, содержащую await. Строго говоря, это неправильно.

Возможно я что-то неверно понимаю, но офиц. документация в разделе awaitables говорит что

• a coroutine function: an async def function;

А вот возвращаемый результат именуют:

• a coroutine object: an object returned by calling a coroutine function.

Да, они помечают это словами "In this documentation " , но мне кажется, что назвать корутиной саму функцию не такая уж и неправильная затея.

Итак, Пример 2.2.
Можете объяснить, зачем тогда придумали функцию asyncio gather?
Типа когда через обычный вызов,
то сначала выполняется одна строка кода,
пока она не завершится, вторая не выполнится,
а начнёт только после завершения первой?
А при gather эти две строки выполнятся сразу за вдвое меньший промежуток времени (если и у одной, и у второй есть sleep(3) и перейдёт дальше)?

Статья просто супер. С нетерпением жду продолжения.

async with aiohttp.ClientSession() as session:
    async with session.get(url) as response:  
       weather_json = await response.json()

Я пробовал писать небольшое асинхронное приложение. Был неприятно удивлен количеством уровней вложенности. Чтобы просто HTTP запрос сделать уже 2 уровня вложенности получается, запрос к базе тоже оборачивается в "async with async_session()".

Получается неудобно и некрасиво. В JS с этим гораздо приятнее работать

  const response = await fetch('/movies');
  const movies = await response.json();

Хорошая статья для теоретического введения в проблематику. К сожалению, после ее прочтения начинающий не сможет самостоятельно использовать описанные конструкции.

aiofiles - построен полностью на тредпуле, это не мешает ему быть конкурентным.

aiofile - использует caio под капотом, который для linux использует системные вызовы ядра для асинхронной работы с файлами, или тредпул на си, для мака тредпул на си или реализацию на python тредах для windows.

По поводу баз данных, тоже не правда, sqlalchemy>1.4 тоже не использует никаких тредов если только драйвер не использует их (aiosqlite построен на потоках, иначе никак)

На самом деле никакого параллельного выполнения чего бы то ни было в питоне нет и быть не может. Кто не верит — погулите аббревиатуру GIL.

Это тоже довольно популярное заблуждение, тот-же упомянутый выше caio отпускает GIL когда читает из фалов, ему его держать не нужно, просто отдал в ядро системный вызов и потом как на eventfd тригернется epoll приходи за результатом.

GIL не является проблемой в python, то что вы не можете его выключить для python кода, это правда, если вам нужна, например, математика многотопочная, берите numpy/numba/cython, там или GIL уже отключен при cpu-bound вызовах, или можно его отключить ( "with nogil:" в Cython).

Множество стандартных функций интерпретатора отпускает GIL, та-же работа с файлами, os.pread например, да и вообще поищите в исходниках интерпретатора Py_BEGIN_ALLOW_THREADS все что в теле под этим макросом, выполняется конкурентно безо всякого GIL, и да, sqlite в их числе.

После 20 лет в JavaScript так приятно видеть что наконец-то Питон его догнал (шутка). Микротаски и Promise.race, Promise.allSettled на очереди.
А на деле, большое спасибо за статью, с футурами чуть яснее стало после вашей аналогии, ну и event_loop без внимания таки оставить не удастся.
Вчера только бодался в pytest с ошибками.
got Future <Future pending cb=[Protocol._on_waiter_completed()]> attached to a different loop

Пытаюсь переписать со "старомодного" способа на `asyncio.run()`. Но не нравится что получается даже более громоздко.
Вместо:

loop = get_or_create_eventloop()
validation_status = loop.run_until_complete(asyncio.gather(
    is_access_token_valid(access_token),
    is_id_token_valid(id_token),
))

Получается:

async def main():
    return await asyncio.gather(
        asyncio.create_task(is_access_token_valid(access_token)),
        asyncio.create_task(is_id_token_valid(id_token)),
    )

validation_status = asyncio.run(main())

Хотелось бы написать так, но это не работает:

validation_status = asyncio.run(
    asyncio.gather(
        asyncio.create_task(is_access_token_valid(access_token)),
        asyncio.create_task(is_id_token_valid(id_token)),
    )
)

Благодоря этой статье, получил главный ответ на свой вопрос. От того что я написал асинхронную функцию, она все равно будет выполняться синхронно. Асинхронность проявляется лишь тогда, когда таких функции несколько, когда создается конкуренция нескольких функции. Раньше мне казалось, что после await должно начаться какая то магия, она есть, но для не для самой функции, а для другой

А разве при использовании gather нужно создание задач? Вот такой код работает примерно за 3 секунды и без create_task:

import asyncio
import datetime


async def fun1():
    print(1)
    await asyncio.sleep(3)


async def fun2():
    print(2)
    await asyncio.sleep(3)


async def main():
    await asyncio.gather(fun1(), fun2())


begin = datetime.datetime.now()
asyncio.run(main())
end = datetime.datetime.now()
print(end - begin)

Спасибо, все просто и хорошо разложили.

У меня вопрос по правильному подходу к обработке ошибок, например если в последнем примере с получением погоды для списка городов. Как обработать ошибку 5xx и продолжить цикл?

Хороший подход, понравилась Парадигма избегать раньше времени погружения в поиск Цикла. Отвлекает от Сути. Браво!

Екклесиаст! 👍