Threading. Зачем?

[hobogene]

Для того, чтобы повысить производительность воспользуемся модулем threading: с его помощью запустим потоки, выгружающие произведения по одному автору в одном процессе.

Так в потоке или в процессе?

[zuko3d]

А мы под линуксом или под виндой? :)

[hobogene]

А для Python разве есть разница в данном случае? Я просто спрашиваю, без намеков :-)

[zuko3d]

Разница есть для понятия потока и процесса. В линуксе потоки являются процессами, в винде - это отдельные сущности.

[hobogene]

Да нет, это-то я в курсе. И, в силу возраста, даже историю вопроса немного помню. Просто вот поток в Python не совсем то же, что поток в операционке (любой).

[NewTechAudit]

Здесь речь идёт о том, что все создаваемые потоки работают в рамках одного процесса – исполняемого файла

[hobogene]

Похоже, запятая пропущена. Понятно. Спасибо за разъяснение.

[Drakosh]

На текущий момент более актуален AsyncIO.

https://stackoverflow.com/questions/27435284/multiprocessing-vs-multithreading-vs-asyncio-in-python-3

[MentalBlood]

И, для некоторых приложений, библиотека reactive

[NewTechAudit]

Соглашусь, asyncio действительно актуален, threading рассматривается как один из подходов, позволяющий снизить время выполнения программ,  решающих задачи, связанные с вводом-выводом

[NewTechAudit]

Здесь threading рассматривается как один из подходов, позволяющий снизить время выполнения программ,  решающих задачи, связанные с вводом-выводом

[kAIST]

А если у вас 100-500-1000 заданий, то создаваться столько же потоков?

Тогда уж multiprocessing с Pool использовать, и wrapper для очередей из того же модуля.

[NewTechAudit]

Количество потоков не обязательно равно количеству задач

[kAIST]

У вас в коде оно равно. Если будет больше авторов, то будет будет больше потоков. Почему бы сразу это не учитывать и учить делать правильно? Плюс ещё скорее всего ядро процессора будет загружено на 100% из за того что в главном потоке у вас while шпарит на всю катушку. Хотя бы какой то sleep поставьте чтобы ядро не загружалось бесполезной работой.

[NewTechAudit]

Спасибо за замечания, возможность загрузки ядра на 100% действительно существует при большом количестве задач, но так как количество обрабатываемых страниц тоже ограничено, этого не происходит