OpenDAL 中列出未永久删除对象的新特性解析

在分布式存储系统中，对象删除操作往往不是立即永久性的，而是会保留一段时间或版本。OpenDAL 项目近期针对这一场景提出了一个新特性：列出尚未被永久删除的对象。这一功能对于数据恢复、审计追踪等场景具有重要意义。

背景与需求

现代对象存储服务如 S3 提供了版本控制功能，当启用版本控制时，简单的 DELETE 操作并不会真正删除对象，而是插入一个删除标记（delete marker）作为当前版本。这意味着用户仍然可以通过指定版本号来访问"已删除"的对象。

在实际应用中，管理员或开发者经常需要：

• 查看所有被标记为删除但尚未永久移除的对象
• 了解存储桶中对象的完整生命周期状态
• 进行数据恢复或清理操作

技术实现方案

OpenDAL 计划通过新增 deleted 参数来扩展 List 操作的功能。当设置 deleted=true 时，API 将返回包括已删除对象在内的所有对象版本。

这一设计考虑了多种存储服务的特性：

1. 对于 S3 这类支持版本控制的服务，会返回包括删除标记在内的所有版本
2. 对于 Azure Blob 这类支持软删除但不支持版本控制的服务，会返回被软删除的对象
3. 对于不支持这两种特性的服务，行为与常规 List 操作一致

功能组合与使用场景

OpenDAL 提供了灵活的参数组合来满足不同需求：

1. 基本列表：仅列出活动文件

   list_with(path)
   

2. 包含非当前版本：列出活动文件及其历史版本

   list_with(path).version(true)
   

3. 包含已删除文件：列出活动文件和被删除的文件

   list_with(path).deleted(true)
   

4. 完整列表：列出所有文件（活动、非当前版本、已删除）

   list_with(path).version(true).deleted(true)
   

这种正交设计使得开发者可以精确控制返回结果的内容，适应各种业务场景。

技术考量

实现这一特性需要考虑以下技术细节：

1. 不同存储服务的 API 差异：S3 使用 ListObjectVersions 并区分 Version 和 DeleteMarker，而其他服务可能有不同的实现方式

2. 性能影响：返回更多数据可能会增加响应时间和网络开销

3. 权限控制：确保只有有权限的用户才能访问已删除对象

4. 一致性保证：在分布式环境下保证列表结果的准确性

总结

OpenDAL 的这一新特性为开发者提供了更强大的对象管理能力，特别是在数据恢复和状态追踪方面。通过灵活的参数组合，开发者可以根据实际需求获取精确的对象列表，而无需关心底层存储服务的具体实现差异。这一改进进一步强化了 OpenDAL 作为统一存储访问层的价值。