AWS SDK for JavaScript v3 中 S3 多部分上传校验和机制解析

在 AWS SDK for JavaScript v3 中使用 S3 多部分上传功能时，校验和机制是一个需要特别注意的技术细节。本文将深入解析这一机制的工作原理和正确使用方法。

校验和机制的基本原理

S3 多部分上传提供了两种校验和验证级别：

1. 部分级别校验：为每个上传的部分单独计算校验和
2. 完整对象级别校验：在整个对象上传完成后计算整体校验和

开发者可以通过 ChecksumAlgorithm 参数指定使用哪种校验算法（如 CRC32、CRC32C 等），并通过 ChecksumMode 参数控制校验级别。

常见误解与澄清

许多开发者容易产生一个误解：当设置 ChecksumMode 为 FULL_OBJECT 时，系统不会为每个上传部分生成校验和。实际上，这是不正确的。

正确理解：即使指定了 FULL_OBJECT 校验模式，系统仍会为每个上传部分生成校验和。这些部分校验和在最终完成上传时会被用于验证整个对象的完整性。

实际应用中的正确做法

在实现多部分上传时，开发者需要：

1. 初始化上传时指定校验模式：

const createCommand = new CreateMultipartUploadCommand({
  Bucket: bucketName,
  Key: objectKey,
  ChecksumAlgorithm: 'CRC32', // 或其他支持的算法
  ChecksumMode: 'FULL_OBJECT'
});

2. 上传每个部分时收集校验信息：

const parts = [];
const uploadCommand = new UploadPartCommand({
  Bucket: bucketName,
  Key: objectKey,
  UploadId: uploadId,
  PartNumber: partNumber,
  Body: partData
});

const response = await s3Client.send(uploadCommand);

parts.push({
  PartNumber: partNumber,
  ETag: response.ETag,
  ...(response.ChecksumCRC32 && { ChecksumCRC32: response.ChecksumCRC32 })
  // 其他可能的校验和字段
});

3. 完成上传时提供完整校验和：

const completeCommand = new CompleteMultipartUploadCommand({
  Bucket: bucketName,
  Key: objectKey,
  UploadId: uploadId,
  ChecksumCRC32: fullObjectChecksum, // 预先计算的完整对象校验和
  MultipartUpload: { Parts: parts }
});

最佳实践建议

1. 始终收集并保存每个上传部分的校验和信息，即使你计划使用完整对象校验
2. 在客户端预先计算完整对象的校验和，以便在完成上传时提供
3. 考虑实现校验和验证的重试机制，以处理可能的网络问题
4. 对于大文件上传，建议同时使用部分校验和完整校验，以最大化数据完整性保证

理解这些细节可以帮助开发者更可靠地实现 S3 多部分上传功能，确保数据传输的完整性和一致性。