Как стать автором
Обновить

Скрапинг бесконечно прокручивающейся страницы

Python *Программирование *
Перевод

Скрапинг бесконечно прокручивающейся страницы


Добро пожаловать в советы по Scrapy от профессионалов! В этом месяце мы поделимся несколькими уловками, чтобы помочь ускорить вашу работу связанную с веб-скрапингом. Как ведущие мэйнтейнеры Scrapy мы сталкиваемся с каждыми препятствием, которое вы можете себе представить. Так что не волнуйтесь — вы в надёжных руках. Не стесняйтесь контактировать с нами в твиттере или фейсбуке с любыми предложениями для будущих статей.



В эру одностраничных приложений и тонн AJAX-запросов на одной странице множество веб-сайтов заменили кнопку навигации "вперёд/назад" на причудливый механизм бесконечной прокрутки страницы. Веб-сайты использующие этот механизм загружают новую сущность каждый раз, когда пользователь достигает конца страницы при вертикальной прокрутке(вспомните Twitter, Facebook, Google Images). Даже несмотря на то, что UX-эксперты утверждают что механизм бесконечной прокрутки предоставляет чрезмерное количество данных для пользователей, мы видим увеличивающееся количество веб-страниц прибегающих к предоставлению бесконечного списка результатов.

Читать дальше →
Всего голосов 14: ↑9 и ↓5 +4
Просмотры 21K
Комментарии 2

Подключаем онлайн-карты к навигатору на смартфоне. Часть 2 – векторные карты

Google Chrome Node.JS *OpenStreetMap *Геоинформационные сервисы *
Туториал

Пишем серверное приложение, которое будет генерировать растровые PNG тайлы на основе векторных онлайн-карт. Использование веб-срейпинга с помощью Puppeteer для получения картографических данных.

Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 1.9K
Комментарии 4

Подключаем онлайн-карты к навигатору на смартфоне. Часть 3 — OverpassTurbo

Google Chrome Node.JS *OpenStreetMap *Геоинформационные сервисы *
Туториал

Превращаем созданный ранее скрипт в API для просмотра интерактивной карты с сайта OverpassTurbo.eu через навигационное приложение смартфона.

Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 2.8K
Комментарии 3