Парсер, который не падает, а врёт: шесть случаев из моей практики

[Andrey_Solomatin]

Смотреть на код ответа так и не научились. Это должно быть первой проверкой. raise_for_status

Попробуйте дом разбирать специальными инструментами а не регулярками.

Данных у вас мало, пишите в базу сырые ответы. Потом проще будет понимать где данные и где мусор.

[frantlas]

Про код ответа - это как раз пятый случай в статье, «Страница отдаёт 404 и показывает чужие цифры»: там и вывод о том, что проверять его надо первым делом. Сырые ответы пишем, в последнем замере в кэше 97 страниц, поэтому пересчитывать разметку можно без повторного обхода. Про DOM соглашусь частично: счётчики снимаем селекторами, а вот наличие слов в тексте ищем регулярками - там структура не нужна. Где достаём числа из узлов, перейти на нормальный разбор стоит.