Пишем свой Google, или асинхронный краулер с rate limits на Python

[flint]

Практически все фреймворки для скрапинга асинхронные. От Scrapy до менее известных вроде Grab. Чем отличается ваш подход?

[mercifulcarnifex]

Думаю, тут задача была продемонстрировать возможности и api asyncio в первую очередь, а задача для этого хорошо подходит

[alexopryshko]

Код написан в рамках учебного вебинара по asyncio. Его целью было показать как пользоваться некоторыми компонентами библиотеки, а задача "краулер" хорошо для этого подходит.  

[svpcom]

Ну так в твистеде автору разрбраться сложно, вот он и изобретает который раз подряд свои велосипеды на asyncio

[JPEGEC]

Вы забыли сделать самое главное - заглянуть в robots.txt.