20 млн рублей в год на парсинге сайтов

Текстовые данные (CSV), сжатые в ZIP архивы. Не знаю точно, сколько в распакованном виде бы весило, но всё же текст сжимается достаточно хорошо

20 млн рублей в год на парсинге сайтов

Для работы с хромом используется Selenium. А дальше уже получаем HTML код страницы и возвращаемся к случаю без хрома (AngleSharp для работы с DOM)

20 млн рублей в год на парсинге сайтов

Если у сайта есть API (используемый, к примеру, JS на сайте для динамического обновления страницы), ничего не мешает дёргать его, получать XML/JSON и уже дальше работать с ним