Rclone元数据映射器中SrcFsType检测机制的优化

在rclone项目中，元数据映射器(metadata mapper)是一个重要组件，它负责在不同云存储后端之间转换文件元数据格式。近期发现了一个关于源文件系统类型(SrcFsType)检测的可靠性问题，特别是在处理Google文档等特殊文件类型时。

问题背景

元数据映射器通过接收rclone传递的JSON对象来工作，其中包含SrcFsType字段。开发者原本依赖这个字段来判断源后端类型（如drive或onedrive），从而应用正确的映射逻辑。然而在处理Google文档时，SrcFsType会被设置为非预期的值如object.memoryFs，导致映射失败。

技术分析

深入研究发现，Google文档在rclone中有特殊处理逻辑。由于Google文档的实际大小只有在下载后才能确定，rclone无法使用标准复制流程，而是采用内部等效的rclone rcat机制，通过流式传输将结果发送到目标位置。在这个过程中，rclone丢失了对源后端的识别信息。

解决方案

开发团队提出了多阶段修复方案：

1. 第一阶段修复尝试保留源后端信息，但发现会导致目标后端类型(DstFsType)信息丢失
2. 进一步分析发现，某些后端（如OneDrive）无法接收长度未知的文件上传
3. 最终方案重构了rcat的内部实现，避免了使用rclone机制将对象复制到本地磁盘的中间步骤

实现细节

优化后的实现具有以下特点：

• 当文件大小小于streaming-upload-cutoff时，直接在内存中缓存
• 避免了不必要的本地磁盘中转步骤
• 确保元数据映射器只被调用一次
• 正确保留SrcFsType和DstFsType字段

技术影响

这一改进显著提升了以下场景的用户体验：

1. Google文档等特殊文件类型的跨云存储迁移
2. 元数据映射器的可靠性
3. 整体传输效率（减少了不必要的中间步骤）

最佳实践

对于需要使用元数据映射器的用户，建议：

1. 更新到包含此修复的版本（v1.67及以上）
2. 合理设置streaming-upload-cutoff参数
3. 注意不同云存储后端对文件上传的特殊要求

这一改进体现了rclone项目对细节的关注和对用户体验的持续优化，使得云存储间的元数据转换更加可靠和高效。