rclone与Backblaze B2存储的目录标记问题解析

背景介绍

在使用rclone将Backblaze B2云存储挂载为Proxmox Backup Server(PBS)的数据存储时，用户遇到了一个特殊的技术问题。PBS在创建数据存储时会在.chunk目录下生成大量空文件夹，但这些空目录无法在B2存储中正确创建。

问题本质

这个问题的根源在于B2存储作为S3兼容存储的一个限制：标准的S3协议不支持存储真正的空目录。当PBS尝试创建大量空目录结构时，这些操作无法在B2存储中正确反映。

技术细节分析

1. B2存储的特性：

   • Backblaze B2原生API不支持以斜杠结尾的文件名（即目录标记）
   • 这与标准S3协议的行为有所不同
   • 即使通过S3兼容API访问B2存储，目录标记的支持情况也可能存在差异

2. PBS的工作机制：

   • PBS依赖文件系统特性来管理备份数据
   • 在.chunk目录下创建复杂的目录结构是其内部工作机制的一部分
   • PBS需要同时访问文件的修改时间和访问时间，而B2存储可能无法完全满足这一需求

解决方案探讨

虽然用户最初希望rclone能添加类似--b2-directory-markers的参数来解决此问题，但经过技术讨论发现：

1. B2协议限制：

   • B2原生API明确禁止文件名以斜杠结尾
   • 这使得实现真正的目录标记在技术层面上存在障碍

2. 替代方案：

   • 使用Azure Blob存储的--azureblob-directory-markers参数可以解决类似问题
   • 考虑使用其他支持完整目录标记的存储后端
   • 通过S3兼容API访问B2存储可能提供部分解决方案

性能考量

值得注意的是，将PBS数据存储放在远程云存储上会带来严重的性能问题：

• PBS设计初衷是使用本地SSD存储
• 即使是本地网络存储(NFS/SMB)也会导致性能显著下降
• 使用云存储可能导致备份操作耗时从小时级延长到天甚至月级

结论建议

对于需要在云存储上使用PBS的用户，建议：

1. 优先考虑支持完整目录标记的存储后端
2. 评估性能需求，云存储可能不适合作为主要备份存储
3. 如果必须使用B2存储，可尝试通过S3兼容API访问
4. 考虑使用性能更好的混合存储方案，将热数据保留在本地

这一案例展示了在将本地应用迁移到云存储时可能遇到的协议兼容性问题，需要综合考虑功能需求和性能表现的平衡。