Apache RocketMQ 分层存储中主题级消息保留时间的设计思考

背景与现状

在消息中间件领域，消息保留时间（TTL）是保障存储资源合理利用的重要机制。Apache RocketMQ 当前版本中，消息保留策略仅支持在Broker级别全局配置，所有主题共享相同的保留周期。这种粗粒度的控制方式在实际生产环境中逐渐显现出局限性，特别是当不同业务主题具有差异化的存储需求时。

需求分析

分层存储架构的引入为精细化存储管理创造了条件。用户期望能够：

1. 针对重要业务主题延长消息保留时间
2. 对临时性主题缩短保留周期以节省存储成本
3. 在混合存储场景下实现冷热数据的差异化生命周期管理

技术方案设计

核心实现路径

1. 元数据扩展：在TopicConfig中新增TTL属性字段，通过TopicAttributes机制进行管理
2. 存储层适配：分层存储引擎需解析主题级TTL配置，在文件清理时作为决策依据
3. 兼容性保障：维持全局配置作为默认值，主题级配置优先于全局设置

关键实现点

• 属性存储：利用现有的Attribute体系存储TTL值（单位：毫秒）
• 配置传播：通过Controller将配置同步至所有存储节点
• 清理触发：基于时间轮的定时任务机制，结合文件最后写入时间判断

架构影响评估

该增强方案涉及的主要模块包括：

1. 配置管理：TopicConfigManager需支持动态属性更新
2. 存储引擎：TieredStorageService需感知主题级TTL
3. 监控体系：新增主题存储周期相关Metrics

替代方案对比

在Broker的topics.json中直接添加配置的方案被否决，原因在于：

1. 破坏配置管理的统一性
2. 不利于动态修改和集群同步
3. 与现有属性系统功能重叠

技术价值

1. 精细化管控：支持按主题重要性分配存储资源
2. 成本优化：避免非核心业务占用过量存储
3. 架构扩展性：为未来更细粒度的存储策略（如基于Tag的TTL）奠定基础

实施建议

对于社区开发者，建议关注：

1. 属性变更的原子性保证
2. 大规模主题场景下的定时任务性能
3. 与消息追溯功能的兼容处理

该增强预计将在RocketMQ 5.1版本中落地，届时用户可通过Admin API或控制台进行可视化配置。