Databend表存储中copied_files路径存储机制的优化方案

在Databend数据库系统中，表存储的copied_files功能负责记录文件路径信息。当前实现中存在一个潜在问题：不同来源的文件路径采用了不同的存储方式，这可能导致系统行为的不一致性。本文将深入分析这一问题，并提出合理的优化方案。

当前机制的问题分析

Databend目前对于copied_files中的路径存储存在三种不同处理方式：

1. 对于来自stage的文件，存储的是相对于stage根目录的相对路径
2. 对于以/结尾的外部文件URL，存储的是相对于该URL的相对路径
3. 对于不以/结尾的外部文件URL，存储的是相对于存储桶根目录的路径（如S3）

这种差异化的处理方式会引发以下问题场景：

• 使用不同根目录的多个stage时
• 使用URL结尾不一致的外部文件路径时
• 在单表中混合使用三种来源类型时

优化方案设计

统一路径存储格式

核心优化思路是将所有路径统一存储为<root>/<path>格式：

• stage文件：<stage_root>/<relative_path>
• 外部文件：<url_root>/<relative_path>

这种统一化处理虽然会增加少量存储和RPC传输开销，但能彻底解决路径处理不一致的问题。

兼容性保障策略

为了确保平滑升级，引入新的表选项STORE_FULL_PATH_FOR_COPIED_FILES：

1. 新建表默认启用新行为（选项值为true）
2. 现有表保持原行为（选项值为false），用户可手动开启

自动迁移方案（可选）

考虑在特定条件下自动启用新行为：

• 当copied_files列表为空时
• 当表选项为false时 执行copy操作会自动将选项设为true

技术实现考量

存储开销评估

全路径存储确实会增加元数据大小，但考虑到：

1. 现代存储系统对元数据大小的容忍度较高
2. 路径信息通常不会占据主要存储空间
3. 统一化带来的维护便利性远大于存储开销

版本兼容处理

通过表选项的精细控制，可以确保：

• 新版本能够正确处理旧表数据
• 用户可自主决定何时升级路径存储方式
• 系统升级不会影响现有业务逻辑

总结

Databend的这一优化通过统一文件路径存储格式，从根本上解决了多来源路径处理不一致的问题。采用渐进式升级策略既保证了系统稳定性，又为未来功能演进奠定了基础。这种设计思路也体现了数据库系统在功能扩展时对兼容性和一致性的高度重视。