Pull to refresh
101.68
KTS
Создаем цифровые продукты для бизнеса

Пишем свой Google, или асинхронный краулер с rate limit’ами на Python

Reading time1 min
Views2.5K

Привет!

В четверг, 7 октября, в 19:00 наш руководитель разработки и сооснователь KTS Александр Опрышко проведет открытый вебинар:

«Пишем свой Google, или асинхронный краулер с rate limit’ами на Python»

Зачем это нужно? Такая задача часто встречается на практике, когда нужно реализовать периодическую синхронизацию/обкачку между сервисами. Еще это просто интересно, потому что позволяет опробовать многие возможности asyncio.

Вот некоторые вещи, которые вы узнаете на вебинаре:

— запускать параллельные корутины
— пользоваться примитивами синхронизации semaphore и event
— обкачивать данные с сайтов, не подвергая их чрезмерной нагрузке

Приходите! Будет интересно.

Вебинар прошел — чтобы посмотреть запись, переходите по ссылке.

P.S. А еще на днях мы написали статью про то, как устроены системы проверки студентов в нашей LMS.

Tags:
Hubs:
Total votes 7: ↑5 and ↓2+3
Comments0

Other news

Information

Website
kts.tech
Registered
Founded
Employees
101–200 employees
Location
Россия