Apr 19 2010 at 18:52

Простой объект для скачки файлов на С++

Invite pending

Реализация на C++ используя cURL с небольшим уклоном на Win платформу ( платформа зависимы пару строк )

Понадобился объект, для беспрепятственной скачки файлов с HTTP сервера.
После поиска по данной теме решение свелось к следующему:
— Использовать WinInet или MFC обертки над ним ( CInternetFile, CHttpFile )
— Использовать cURL
— Написать свою реализацию на сокетах

Последний вариант отпал в виду велосипедности.
От использования WinInet пришлось отказаться в виду невозможности докачки файлов при обрыве связи ( объект нужен для реализации программы обновления ).

Остался единственный из выбранных вариантов, который собственно изначально рассматривался приоритетным, но был поставлен в конец в виду ленивости (изучения материала по работе с cURL)

Начал искать готовые реализации подобного на cURL, но не чего толкового не попадалось, гугл выдал даже статью с хабра habrahabr.ru/blogs/cpp/84961 которая оказалась просто инструкцией по установке cURL и описанием обертки на C++ ( В плане реализации сказано там мало, только приведен пример ).

Ну что ж, нет так нет, пишем свою реализацию.

Требования:
— Скачивание непосредственно на диск ( для больших файлов )
— Скачивание в буфер ( для файлов которые нужно обработать, в моем контексте управляющих файлов обновления продукта, инструкции скачать тото, положить туда то, и удалить вот это )
— Возможность докачки больших файлов ( тех что записываются на диск )
— Отслеживание состояния и получение текста ошибки при возникновении
— Скачивание в фонов режиме ( потоке ), наверно одно из важнейших требований

Далее идет прототип объекта, который все описанное выше делает.

Copy Source | Copy HTML class Downloader { public: class DFile { public: enum eDFileState { DFILE_STATE_NONE = 0, // Ещё не начали скачку ( не вызывали Work ) DFILE_STATE_DOWNLOADING = 1, // Идет процесс скачки DFILE_STATE_ERROR = 2, // Произошла ошибка ( GetError подробности ) DFILE_STATE_COMPLETE = 3, // Успешно скачано }; DFile(); // Конструктор, обнуляет данные ~DFile(); // Деструктор, чистит за собой void Clean(); // Очистить данные, что бы можно было использовать объект повторно void SetURL( const char* sUrl ); // Установить урл для скачки void SetToFile( const char* sToFile ); // Установить файл для записи, если не установлен скачка происходит в буффер void SetUserAgent( const char* sUserAgent ); // Установить строку UserAgent void SetFileBadAttempts( int iFileBadAttempts ) { _iFileBadAttempts = iFileBadAttempts; } // Установить сколько допустимо ошибок // Скачка завершилась ? ВАЖНО! Пока скачка не будет завершена, объект нельзя удалять, GetState == DFILE_STATE_DOWNLOADING int GetState() { return _iState; } const char* GetError() { return _sError.Get(); } const size_t GetLength() { return _iLength; } // Получить длинну скачанных данных const UCHAR* GetData() { return _pData; } // Получить данные float GetPercent() { return _fPercentComplete; } // Получить завершенность скачки static size_t CallbackWriteMemory( void* pNewData, size_t size, size_t nmemb, DFile* pDFile ); // Готов кусок для записи в буффер static size_t CallbackWriteStream( void* pNewData, size_t size, size_t nmemb, FILE *stream ); // Готов кусок для записи в файл static int CallbackProgress( DFile* pDFile, double t, double d, double ultotal, double ulnow ); // Обновился статус готовности скачки void DownloadThread(); // Скачать, запускает в отдельном потоке метод Work void Work(); // Непосредственная обработка скачки private: String _sURL; // Собственно откуда скачиваем String _sToFile; // Куда сохранить ( на диске ) String _sError; // Получить информацию об ошибке String _sUserAgent; // Строка HTTP заголовка UserAgent UCHAR* _pData; // Куда сохранить ( в памяти ) size_t _iLength; // Сколько байт скачанно float _fPercentComplete; // Процент завершенности int _iState; // Состояние закачки int _iFileBadAttempts; // Макс количество неудачных попыток скачки, используется дляварианта с записью в файл ( обрывы связи например ) }; static void Init(); // Инициализировать необходиммые данные static void Destroy(); // Почистить за собой }; Код хорошо документирован, все методы должны быть понятны. Теперь реализация callback методов. Copy Source | Copy HTML // Методы взяты из примеров кода с CURL http://curl.haxx.se/libcurl/c/example.html // И подкручены для своих нужд и стиля static void *myrealloc(void* ptr, size_t size) { /* There might be a realloc() out there that doesn't like reallocing NULL pointers, so we take care of it here */ if(ptr) return realloc(ptr, size); else return malloc(size); } ////////////////////////////////////////////////////////////////////////// // Готов кусок для записи в буффер ////////////////////////////////////////////////////////////////////////// size_t Downloader::DFile::CallbackWriteMemory(void* pNewData, size_t size, size_t nmemb, Downloader::DFile *pDFile ) { size_t realsize = size * nmemb; pDFile->_pData = (UCHAR*)myrealloc(pDFile->_pData, pDFile->_iLength + realsize + 1); if (pDFile->_pData) { memcpy( &(pDFile->_pData[pDFile->_iLength]), pNewData, realsize ); pDFile->_iLength += realsize; pDFile->_pData[pDFile->_iLength] = 0; // Запишем ноль байт, нужно для использования данные как C строки } return realsize; } ////////////////////////////////////////////////////////////////////////// // Готов кусок для записи в файл ////////////////////////////////////////////////////////////////////////// size_t Downloader::DFile::CallbackWriteStream( void* pNewData, size_t size, size_t nmemb, FILE *stream ) { return fwrite( pNewData, size, nmemb, stream ); } ////////////////////////////////////////////////////////////////////////// // Обновился статус готовности скачки ////////////////////////////////////////////////////////////////////////// int Downloader::DFile::CallbackProgress( Downloader::DFile* pDFile, double t, double d, double ultotal, double ulnow ) { pDFile->_fPercentComplete = (float)d/t; return 0; } Далее реализация основного метода Work который и занимается скачкой, и может вызываться как непосредственно, так и в виде фоновой работы в потоке методом DownloadThread Copy Source | Copy HTML ////////////////////////////////////////////////////////////////////////// // Обработка ////////////////////////////////////////////////////////////////////////// void Downloader::DFile::Work() { CURL *curl; CURLcode res; curl = curl_easy_init(); if( curl ) { _iState = DFILE_STATE_DOWNLOADING; // Скажем что начали закачку, то есть можно начинать брать GetPercent // Если выбрали вариант записи в файл if( _sToFile.Length() > 0 ) { int iCountBadPerform = _iFileBadAttempts; // Колчество попыток обработать, перед выходом FILE *outfile; outfile = fopen( _sToFile.Get(), "wb"); if( outfile ) // Файл создать удалось { do { // Что качать curl_easy_setopt( curl, CURLOPT_URL, _sURL.Get() ); // Устанавливаем callback функции и данные для них curl_easy_setopt( curl, CURLOPT_WRITEDATA, outfile ); curl_easy_setopt( curl, CURLOPT_WRITEFUNCTION, CallbackWriteStream ); curl_easy_setopt( curl, CURLOPT_NOPROGRESS, 0 ); curl_easy_setopt( curl, CURLOPT_PROGRESSFUNCTION, CallbackProgress ); curl_easy_setopt( curl, CURLOPT_PROGRESSDATA, this ) ; // Тут установим необходимые заголовки и timeout curl_easy_setopt( curl, CURLOPT_CONNECTTIMEOUT, 20 ); curl_easy_setopt( curl, CURLOPT_USERAGENT, _sUserAgent.Get() ); // Установим смещение для скачиваемого файла, если мы уже часть закачали curl_easy_setopt( curl, CURLOPT_RESUME_FROM, ftell( outfile ) ); res = curl_easy_perform(curl); } while( CURLE_OK != res && iCountBadPerform-- ); // Пока успешно не скачали или не израсходовали все попытки fclose(outfile); if( CURLE_OK != res ) { _sError.SetEx( "Ошибка '%s': %s", _sToFile.Get(), curl_easy_strerror( res ) ); _iState = DFILE_STATE_ERROR; } else { _iState = DFILE_STATE_COMPLETE; } } else { _sError.SetEx( "Ошибка записи '%s'", _sToFile.Get() ); _iState = DFILE_STATE_ERROR; } } else // Иначе записываем в буфер { // Что качать curl_easy_setopt( curl, CURLOPT_URL, _sURL.Get() ); // Устанавливаем callback функции и данные для них curl_easy_setopt(curl, CURLOPT_WRITEDATA, this ); curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, CallbackWriteMemory ); curl_easy_setopt(curl, CURLOPT_NOPROGRESS, 0 ); curl_easy_setopt(curl, CURLOPT_PROGRESSFUNCTION, CallbackProgress ); curl_easy_setopt(curl, CURLOPT_PROGRESSDATA, this); // Тут установим необходимые заголовки и timeout curl_easy_setopt( curl, CURLOPT_CONNECTTIMEOUT, 20 ); curl_easy_setopt( curl, CURLOPT_USERAGENT, _sUserAgent.Get() ); res = curl_easy_perform(curl); if( CURLE_OK != res ) { _sError.SetEx( "Ошибка '%s': %s", _sToFile.Get(), curl_easy_strerror( res ) ); _iState = DFILE_STATE_ERROR; } else { _iState = DFILE_STATE_COMPLETE; } } // Почистим curl curl_easy_cleanup(curl); } else // curl_easy_init fail { _sError = "Ошибка инициализации"; _iState = DFILE_STATE_ERROR; } } Теперь посмотрим как с ним работать. Copy Source | Copy HTML Downloader::Init(); // Инициализируем cURL Downloader::DFile* remoteFile = new Downloader::DFile; // Что будем скачивать, для того что уведить прогресс надо скачивать большой файл remoteFile->SetURL( "http://habrahabr.ru/i/bg-multilogo.png" ); remoteFile->SetToFile( "habra-logo.png" ); remoteFile->DownloadThread(); while( remoteFile->GetState() <= Downloader::DFile::DFILE_STATE_DOWNLOADING ) // Пока идет скачка { printf( "\rDownloading... %.2f%%", remoteFile->GetPercent()*100.0f ); // просто отображаем завершенность } if( remoteFile->GetState() == Downloader::DFile::DFILE_STATE_COMPLETE ) printf( "\rDownload complete.\n" ); else printf( "\rDownload error %s\n", remoteFile->GetError() ); remoteFile->Clean(); // Сбросим все, что бы безболезненно использовать объект снова remoteFile->SetURL( "http://habrahabr.ru/js/1270814916/system.js" ); remoteFile->Work(); // Уже без потока скачаем if( remoteFile->GetState() == Downloader::DFile::DFILE_STATE_COMPLETE ) printf( (const char*)remoteFile->GetData() ); delete remoteFile; Downloader::Destroy(); // Освободим ресурсы занимаемые cURL Вот и все, получилось довольно просто в использовании, универсальный метод как для записи на диск так и в память. В коде используется класс String, это своя реализация строки, по своим нуждам, во вложении есть его реализация посредством std::string. По ссылке ниже вы можете скачать реализацию этого объекта, и пример использования. Собрал все вместе, с инклудами и либами cURL что бы можно было без проблем протестировать данное решение. реализация, 250 КБ Спасибо разработчикам cURL что они для нас сделали такую замечательную библиотеку, реализовать данный объект не должно составить труда например на php и других объектно ориентированных языках поддерживающих cURL. Спасибо за внимание.

Hubs:

Lumber room