Apache DataFusion项目中的Rust特性测试覆盖率优化实践

Apache DataFusion作为一个高性能的查询引擎，其代码库中包含了多个Rust特性标志(feature flags)，这些特性允许用户根据需要启用或禁用特定功能。然而，近期在代码重构过程中发现，现有CI测试对这些特性的覆盖率存在不足，导致一些特性相关的错误未被及时发现。

问题背景

在DataFusion项目中，特性标志如parquet等允许用户选择性地启用特定功能模块。但在最近的几次重构中，团队发现了多个与特性相关的问题，这些问题在合并代码后才被发现。经过分析，发现现有的CI测试对特性标志的覆盖不够全面，特别是对于不同crate(子模块)的特性组合测试存在空白。

解决方案设计

为了提升测试覆盖率，团队提出了一个系统性的解决方案：

1. 按crate划分测试任务：将测试任务按照不同crate进行组织，包括：

   • datafusion-substrait
   • datafusion-proto
   • datafusion-functions
   • datafusion主模块

2. 双重检查机制：对每个crate执行两种基本检查：

   • 无默认特性的基础检查(cargo check --no-default-features)
   • 逐个特性的专项检查(cargo check --no-default-features --features=<featurename>)

3. 渐进式实施：采用分阶段实施策略，首先建立按crate划分的测试任务，然后逐步完善各crate的特性测试覆盖。

技术实现细节

这种测试策略有几个关键优势：

• 轻量级检查：仅使用cargo check而非完整构建，既保证了基本语法和特性组合的有效性，又节省了CI资源
• 全面覆盖：确保每个特性都能在独立启用的情况下通过基本检查
• 早期发现问题：在代码合并前就能发现特性相关的编译问题

相关讨论扩展

在讨论过程中，团队还探讨了代码覆盖率工具(codecov)的潜在应用。虽然之前尝试集成codecov时遇到了一些挑战(如运行时间长、结果不够直观)，但团队成员表示愿意重新评估其可行性。良好的代码覆盖率工具可以：

• 提供PR级别的覆盖率检查
• 确保新增代码有足够的测试覆盖
• 可视化展示测试覆盖情况

实施路线图

团队制定了清晰的实施步骤：

1. 首先完成按crate划分的CI任务设置
2. 重点完善datafusion-functions模块的特性测试覆盖
3. 最后全面检查datafusion主模块的特性测试情况

这种系统性的测试覆盖率提升方案，将显著增强DataFusion项目的代码质量，特别是在特性标志使用方面的可靠性，为后续的功能开发和重构提供更安全的保障。