Скрапинг бесконечно прокручивающейся страницы

Я так и делаю — некоторый «реверс-инжиниринг» страниц, которые надо парсить (порой логика бывает посложнее, чем описано в статье, но ничего невозможного пока не встречал) — после воссоздание запросов в пауке и краулинг по ним.

Что меня больше интересует — так это интерпритация сайтов со сложным фронтэндом «как в браузере». Так как парсить и поддерживать их будет проще. А к примеру сайты, работающие через вебсокеты так и вовсе можно только так будет распарсить.

Планирую внедрять scrapy-splash — не поделитесь кто чем пользуется в продакшене?