解决CPR库下载大文件时出现的内存分配错误

在Windows平台上使用CPR库下载大文件时，开发者可能会遇到"bad allocation"内存分配异常。这个问题通常发生在下载进度达到64-67%时，特别是当文件大小超过900MB的情况下。

问题现象

当尝试通过CPR库下载一个约900MB的.tar.xz文件时，程序会在下载约585MB数据后抛出"bad allocation"异常。这个错误表明系统无法为下载的数据分配足够的内存空间。

问题根源

CPR库默认会将整个HTTP响应内容存储在内存中，这对于大文件下载来说会带来两个主要问题：

1. 内存占用过高：下载大文件时需要一次性分配大量内存，可能导致内存不足
2. 性能问题：大文件完全加载到内存后才写入磁盘，增加了内存压力

解决方案

CPR库提供了两种有效的方法来解决大文件下载的内存问题：

方法一：预分配内存缓冲区

通过使用ReserveSize参数，可以预先为响应数据分配足够大的内存缓冲区，避免在下载过程中频繁重新分配内存：

cpr::Response response = cpr::Get(
    cpr::Url{url},
    cpr::ReserveSize{1024 * 1024 * 8},  // 预分配8MB缓冲区
    cpr::ProgressCallback([&](...) { /* 进度回调 */ })
);

这种方法适合中等大小的文件下载，能够有效减少内存碎片和频繁分配的开销。

方法二：使用写入回调流式下载（推荐）

对于超大文件下载，更推荐使用写入回调(WriteCallback)的方式，实现流式下载：

std::ofstream outputFile(outputFilePath, std::ios::binary);

cpr::Response response = cpr::Get(
    cpr::Url{url},
    cpr::WriteCallback([&](std::string data) -> bool {
        outputFile.write(data.data(), data.size());
        return true;  // 返回false可中止下载
    }),
    cpr::ProgressCallback([&](...) { /* 进度回调 */ })
);

这种方法有以下优势：

• 内存占用低：数据块即时写入磁盘，不保留在内存中
• 可靠性高：适合超大文件下载，不受内存限制
• 灵活性好：可以控制每个数据块的处理方式

最佳实践建议

1. 对于超过100MB的文件，建议使用写入回调方式
2. 设置合理的缓冲区大小（通常8-16MB为宜）
3. 添加适当的错误处理和重试机制
4. 在进度回调中更新UI时注意线程安全问题
5. 下载完成后验证文件完整性（如校验MD5/SHA256）

通过合理使用CPR库提供的高级功能，开发者可以轻松实现稳定可靠的大文件下载功能，避免内存分配错误等问题。