Kubeflow Pipelines 执行缓存默认行为优化方案

背景与现状分析

Kubeflow Pipelines（KFP）作为机器学习工作流编排平台，提供了执行缓存机制以提升效率。当前实现中，系统默认会对所有管道组件（Pipeline Components）启用缓存功能，除非开发者显式调用task.set_caching_options(False)进行禁用。这种设计在实践中引发了若干问题：

1. 预期不符：大多数分布式计算系统（如Apache Spark、Airflow等）默认禁用缓存，开发者需要主动启用优化功能
2. 行为不一致：虽然KFP后端服务默认禁用缓存，但SDK却默认启用，造成理解困惑
3. 维护成本：当需要全局禁用缓存时，开发者必须为每个任务单独设置

技术实现方案

核心设计变更

经过社区讨论，决定采用渐进式改进方案：

1. 新增编译期控制参数：

   • 通过编译器CLI标志（如--default-caching-enabled）
   • 支持环境变量配置（如KFP_DEFAULT_CACHING_ENABLED）

2. 默认值调整：

   • 新版本将默认值从True改为False
   • 保持向后兼容性

3. 管道级控制（未来扩展）：

   @dsl.pipeline(name='demo', caching=False)
   def my_pipeline():
       task1 = comp1()  # 自动继承管道级设置
       task2 = comp2().set_caching_options(True)  # 可单独覆盖
   

典型使用场景

场景一：严格禁用缓存

# 无需任何设置即默认禁用
@dsl.pipeline(name='strict-no-cache')
def pipeline():
    task1 = comp1()  # 自动禁用缓存
    task2 = comp2()  # 自动禁用缓存

场景二：选择性启用

@dsl.pipeline(name='selective-cache')
def pipeline():
    task1 = comp1()  # 默认禁用
    task2 = comp2().set_caching_options(True)  # 显式启用

场景三：企业级配置

# 通过环境变量全局控制
export KFP_DEFAULT_CACHING_ENABLED=true
python pipeline.py

技术影响评估

1. 性能影响：

   • 禁用缓存可能增加短期计算成本
   • 避免缓存失效带来的隐性成本

2. 安全考量：

   • 减少因缓存重用导致的数据不一致风险
   • 更符合CI/CD管道的预期行为

3. 用户体验：

   • 更符合业界惯例
   • 降低新手学习曲线

最佳实践建议

1. 实验阶段：建议保持缓存禁用，确保每次运行获得全新结果
2. 生产环境：对稳定组件启用缓存，同时添加版本标签
3. 团队协作：通过CI环境变量统一控制缓存策略
4. 监控措施：记录缓存命中率指标，评估优化效果

未来演进方向

1. 智能缓存策略：基于历史运行数据自动推荐配置
2. 分层缓存控制：支持管道级、项目级、系统级的多层次配置
3. 缓存依赖分析：可视化展示任务间的缓存依赖关系

该改进方案已在社区达成共识，相关实现将通过标准发布流程逐步交付用户。这一变更标志着KFP在工程实践成熟度上的重要提升，使缓存机制从"隐式优化"转变为"显式可控"的系统特性。