И еще один сервис проверки паспортов или опять вопрос сколько гигабайт в одном мегабайте

нет никакой нужды «качать csv (и хранить локально)» чтобы его потом парсить (каждый раз при запуске). Вы можете получить поток gz, «на лету» получить поток csv из него, из него получить поток значений и получить на выходе engine-а «базу данных» в том формате, что понимает ваш engine + сохранить (например рядом) файл «db.hash» (для загрузчика) с хешем от ETag поля (которое вы просмотрели) и (если нет), то от last-modified (притом не забыть про то, что нужен результат после всех редиректов). Кроме того, я бы не стал HEAD использовать — малоли как на него будет реагировать сервер «завтра» — одного GET достаточно (с логикой расчёта хеша после заголовков и, если надо, прочитывания данных «далее»). Притом закачку можно вести в «рядом лежащий» файл, и по-успеху уведомлять движок о смене файла-базы, после чего удалять устаревшую копию…

Короче тут ещё много «всего» оптимизировать.

На с++ это выглядит как-то так (выброшен мусор типа проверок на ошибкИ):

//input  - stream байт из HTTP ответа
        std::ifstream file(input, std::ios_base::in | std::ios_base::binary);
        boost::iostreams::filtering_streambuf<boost::iostreams::input> inZ;
        inZ.push(boost::iostreams::bzip2_decompressor());
        inZ.push(file);
        std::istream in(&inZ);