AWS SDK for .NET 中 S3 上传流时 Content-Length 设置问题的分析与解决

在 AWS SDK for .NET 的 S3 组件中，从 3.7.412.0 版本开始出现了一个关于流上传的重要问题。这个问题主要影响开发者在上传部分流内容时，SDK 错误地设置了 Content-Length 头部，导致上传失败。

问题现象

当开发者尝试上传一个非从头开始的流（即流的位置指针不在起始位置）时，SDK 会错误地将 Content-Length 设置为流的完整长度，而不是实际要上传的部分长度。这会导致 HTTP 请求失败，并抛出异常："Sent X request content bytes, but Content-Length promised Y"。

典型的使用场景如下：

1. 开发者创建一个 MemoryStream 并写入部分内容
2. 记录当前位置偏移量
3. 继续写入更多内容
4. 将流位置重置到之前记录的偏移量
5. 尝试上传这个部分流到 S3

技术背景

在 .NET 中，Stream 类提供了 Seek 方法，允许开发者移动流的当前位置指针。当上传部分流内容时，正确的做法应该是：

• Content-Length 应该设置为 (流长度 - 流当前位置)
• 实际传输应该从当前位置开始

AWS SDK 在处理这种情况时出现了逻辑缺陷，特别是在 .NET Core/.NET 5+ 的实现路径中，没有正确处理流的位置信息。

影响范围

该问题影响以下版本组合：

• AWSSDK.S3 3.7.412.0 及以上版本
• 目标平台为 .NET Core/.NET 5+
• 使用 PutObjectAsync 方法上传可查找(Seekable)的流

值得注意的是，在 .NET Framework 目标下该问题不会出现，这表明问题出在 SDK 的多目标实现中特定于 .NET Core 的代码路径。

解决方案

AWS SDK 团队已经修复了这个问题。修复的核心思想是：

1. 对于可查找的流，正确计算剩余可读字节数
2. 将 Content-Length 设置为 (流长度 - 流位置) 而非完整流长度
3. 确保从流的当前位置开始读取数据

开发者可以通过升级到修复后的版本来解决这个问题。修复已经包含在 3.7.413.2 及之后的版本中。

最佳实践

为了避免类似问题，开发者在使用流上传时可以考虑：

1. 明确指定 AutoResetStreamPosition 和 AutoCloseStream 参数
2. 对于部分流上传，确保流支持查找(CanSeek = true)
3. 在复杂场景中，考虑显式创建新的 MemoryStream 来包含要上传的部分数据
4. 在升级 SDK 版本后，对关键的文件上传功能进行回归测试

总结

这个问题展示了在流处理和多目标框架支持中的常见陷阱。AWS SDK 团队通过添加专门的测试用例和修正特定平台的实现路径解决了这个问题。对于开发者而言，理解流的内部机制和位置指针的概念对于正确处理文件上传场景至关重要。