AterCattus Jun 10 2011 at 23:25

Как применять Linux epoll в Python

23 min

25K

Python*

Tutorial

Translation

+44

Comments 30

Carzil Jun 11 2011 at 00:35

Спасибо, статья очень помогла!

charon Jun 11 2011 at 01:12

Production server я бы перевёл как «рабочий сервер», в отличии от «сервера разработки» и «сервера сборки».

youmee Jun 11 2011 at 12:32

можно просто «боевой сервер», думаю многим будет понятно

grep0 Jun 11 2011 at 01:22

Существуют чудесные фреймворки для разработки асинхронных приложений, такие как twisted — они позволяют абстрагироваться от деталей select/poll/epoll/что-там-еще-придумали-на-данной-платформе.

AterCattus Jun 11 2011 at 01:25

Где в статье написано, что это начало «убийцы» Twisted/Tornado/Diesel/etc?
Это описание того, как работает epoll в Linux.

А абстрагироваться от деталей позволяет libev/libevent.

VladX Jun 11 2011 at 01:49

> разрыв происходит не сразу же, а после нескольких последовательных таких холостых срабатываний, чтобы исключить возможность ошибочного определения.

Немного не понял Вашу мысль. Если epoll возвращает EPOLLIN, значит на сокете гарантированно есть события. Если данных нет, а событие есть — значит клиент закрыл соединение. Зачем тут делать лишние системные вызовы, это ведь, как-никак, лишние переключения контекста и трата ресурсов?

AterCattus Jun 11 2011 at 02:16

В моем примере и нет лишних вызовов. Речь же шла о том, что встречаются примеры подобного кода с несколькими проверками (2-3). Я решил, что стоит об этом написать.

VladX Jun 11 2011 at 02:33

А Вы не знаете, зачем авторы этих примеров делают несколько проверок, на какие ошибки рассчитывают?

alex_www Jun 11 2011 at 08:02

В примерах данной статьи нет смысла использовать epoll вообще, так как мы сами блокируем сокет в строке
responses[connection.fileno()] = response
Мы не выходим из этой строки до тех пор пока не запишем в нее наш response. Те пока сервер пишет одному клиенту, он не обсуживает других. Убедится в этом можно записал в response строку на пару мегабайт, запустить сервер где нибудь не на локалхосте что бы скорость была не высока, а затем открыть две вкладки — сервер будет отвечеть только в одну из них, и только завершив, начнет во вторую. Те сокеты то ты опрашивем без форков, но конкурентой обработки в коде нет.

alex_www Jun 11 2011 at 08:07

Все даже хуже оказалось, такак сокет не может быть готовым отправлять данные все время, то даже строку в 100кб пример передать не может, соединение рвется в призвольные моменты, ну и заблокированым остается как я и описал выше.

alex_www Jun 11 2011 at 08:12

Проще всего убедится заменив
response += b'Hello, world!'
на
response += b'H!' * 2000

AterCattus Jun 11 2011 at 13:55

Это перевод, он дает представление о работе с epoll в целом.
Практический подход конкретно на python'е и на конкретных задачах я еще опишу в скором времени уже от себя.

seriyPS Jun 11 2011 at 17:34

Что-то не то вы говорите по-моему responses[connection.fileno()] = response — тут вроде вообще работы с сокетом не наблюдается.
Сейчас потестирую…

seriyPS Jun 11 2011 at 17:56

response_body = b'Hello, world!'*100000

response  = b'HTTP/1.0 200 OK\r\nDate: Mon, 1 Jan 1996 01:01:01 GMT\r\n'
response += b'Content-Type: text/plain\r\nContent-Length: '+str(len(response_body))+b'\r\n\r\n'
response += response_body

И длину очереди повыше постваил serversocket.listen(50). Результат:

$ ab -n 5000 -c 200 http://localhost:8081/
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking localhost (be patient)
Completed 500 requests
Completed 1000 requests
Completed 1500 requests
Completed 2000 requests
Completed 2500 requests
Completed 3000 requests
Completed 3500 requests
Completed 4000 requests
Completed 4500 requests
Completed 5000 requests
Finished 5000 requests


Server Software:        
Server Hostname:        localhost
Server Port:            8081

Document Path:          /
Document Length:        1300000 bytes

Concurrency Level:      200
Time taken for tests:   23.696 seconds
Complete requests:      5000
Failed requests:        0
Write errors:           0
Total transferred:      6500530000 bytes
HTML transferred:       6500000000 bytes
Requests per second:    211.01 [#/sec] (mean)
Time per request:       947.830 [ms] (mean)
Time per request:       4.739 [ms] (mean, across all concurrent requests)
Transfer rate:          267903.43 [Kbytes/sec] received

Connection Times (ms)
              min  mean[±sd] median   max
Connect:        0  134 956.2      0    9024
Processing:   136  293 474.7    212   13151
Waiting:        5  213 410.9    180   13140
Total:        137  427 1223.4    212   22161

Percentage of the requests served within a certain time (ms)
  50%    212
  66%    223
  75%    231
  80%    236
  90%    257
  95%   1477
  98%   3231
  99%   6137
 100%  22161 (longest request)

Если -c побольше ставить, то может и вывалиться

alex_www Jun 11 2011 at 18:55

Дело не в валится/не валится. Вы запустите сервер, запустите ab как и делали. Потом в новом терминале запустите wget на этот же URL. Я ни разу не получил полный ответ, т.е. Hello, world!' повторенный 100 тыс раз.

seriyPS Jun 11 2011 at 19:16

Пруфпик:

Может Content-length неправильно прописали?

alex_www Jun 11 2011 at 19:24

Правильно, видимо дело в версии питона. На 2.6.6 рвется на 3.2.1rc1 — работает.

seriyPS Jun 11 2011 at 19:38

Я на 2.7.1 запускал. Попробовал 2.6 — тоже нормально.

Но вообще довольно нестабильно работает 3-й пример. Например после отработки ab скрипт впадает в бесконечный цикл (т.е. i очень быстро инкрементируется, но при этом нормально отвечает на запросы). Если добавить код из примечаний переводчика (if not data:) то ок.
Ну и вылетает при высокой параллельности — нужно очередь увеличивать.

ddsl Jun 11 2011 at 14:46

Извиняюсь за глупый вопрос, но что значит b перед строкой?

AterCattus Jun 11 2011 at 14:53

Строка байт, в отличие от строки в unicode u'...' или «сырой» r'...'.

Sb0y Jun 11 2011 at 16:11

Шикарно. Сэкономили кучу времени, спасибо.

itforge Jun 11 2011 at 16:56

Пардон, в статью пока некогда вникать сейчас, просто хочу заметить, что можно перевести «production server», как боевой сервер. Может и не совсем официально звучит, но суть отражает.

seriyPS Jun 11 2011 at 17:18

Спасибо, тема интересная. Но примеры очень сложно читать и понимать т.к. комментарии находятся далеко от кода. Понимаю что перевод, но может встроить комментарии прям в код — как обычные питоньи комментарии?

AterCattus Jun 11 2011 at 17:56

Если будут еще желающие на такой вариант и не будет, соответственно, армии противников — сделаю.

Regis Jun 11 2011 at 19:54

Писать комментарии к строчкам кода отдельно от кода используя нумерацию — это очень жестоко по отношению к читателям. Первые примеры еще более-менее воспринимаются, так как кода и комментариев мало и есть возможность охватить их почти без скроллинга страницы. Но вот третий пример — совершенно нечитаемый. В итоге просто прочитал комментарии, а потом просмотрел код. Как-то пытаться их соотносить по номерам — развлечение для особо терпеливых и собранных.

Если не трудно, поясните, для чего так было сделано?

AterCattus Jun 11 2011 at 20:53

В таком формате написан оригинал. Решил не менять уж порядка вещей, так как это перевод, а не пересказ.

Regis Jun 14 2011 at 00:45

В оригинале не ограничена длина строки текста, как это сделано на Хабре. Поэтому там это не столь сильно мешает, как здесь.

AterCattus Jun 14 2011 at 11:48

На этой неделе выложу «продолжение», в котором будет простой полнофункциональный пример. Уже не перевод, а отсебятина. Распишу в нем все в виде комментариев в коде.

alex_www Jun 11 2011 at 21:02

Интересно можно ли использовать метод epoll что бы написать неблокирующий клиент используя httplib или urllib2, те делаем запросы сразу N URL,
получаем дескриптор сокета от данного объекта HTTPResponse.fileno() и засовываем в epoll.register

PyKaB Jun 14 2011 at 13:00

Для перевода существующего кода использующего urlllib и т.п., есть eventlet и gevent