Apache DataFusion 新增 IMDb 10 行数据测试集的背景与实现

在数据库和查询引擎的测试领域，基准测试是评估系统性能的重要手段。Apache DataFusion 作为一个用 Rust 编写的现代化查询引擎，其测试框架的完善对于保证系统稳定性和性能至关重要。

测试需求背景

DataFusion 项目已经为 ClickBench 基准测试提供了针对 10 行数据的 SQL 逻辑测试(sqllogictest)。这种小规模数据测试虽然简单，但能够快速验证查询逻辑的正确性，特别适合在持续集成环境中运行。然而，对于同样重要的 IMDb 基准测试，却缺乏类似的轻量级测试集。

IMDb 数据集模拟了互联网电影数据库的结构，包含电影、演员、公司等多种实体及其关系，是测试复杂查询和连接操作的理想选择。为 IMDb 添加 10 行数据的测试用例，将有助于：

1. 快速验证查询语法和基本逻辑
2. 在开发过程中即时发现问题
3. 降低测试运行时间和资源消耗
4. 为更全面的性能测试奠定基础

技术实现方案

实现这一需求的核心在于如何高效地将 IMDb 的标准查询转换为适用于 10 行数据的测试用例。技术方案需要考虑以下几个方面：

查询转换原则

1. 保持原始查询结构不变，仅调整数据规模
2. 确保查询结果在小数据集上仍然有意义
3. 为每个查询添加唯一标识符(testID)便于管理
4. 遵循 sqllogictest 文件格式规范

文件组织方式

测试文件应采用模块化组织，可以按照查询复杂度或业务领域分类。例如：

• 基础查询测试：简单表扫描和过滤
• 连接查询测试：多表关联操作
• 聚合查询测试：包含分组和聚合函数
• 复杂查询测试：子查询、CTE等高级特性

自动化处理

考虑到 IMDb 查询数量较多，完全手动转换效率低下。可以采用脚本辅助的方式：

1. 读取原始查询文件
2. 自动添加测试标识和格式标记
3. 批量生成测试文件
4. 人工审核确保查询在小数据集上的合理性

技术价值分析

为 IMDb 基准测试添加 10 行数据测试集具有多重技术价值：

1. 开发效率提升：开发者可以快速验证查询修改，无需等待完整测试集运行
2. 问题早期发现：在代码提交前就能捕获基本逻辑错误
3. 测试分层：形成从简单到复杂的完整测试金字塔
4. 学习资源：为新手贡献者提供低门槛的测试案例参考
5. 回归防护：防止基本功能在开发过程中被意外破坏

扩展思考

这一工作的思路可以推广到其他基准测试集，如 TPC-DS 等。未来可以考虑：

1. 建立统一的测试用例生成框架
2. 开发自动化验证工具确保查询结果一致性
3. 探索不同规模数据集的测试策略
4. 研究如何平衡测试覆盖率和执行效率

通过系统性地构建轻量级测试集，DataFusion 项目将获得更强大的质量保障能力，同时保持开发流程的高效性。这种测试策略对于现代数据系统的发展具有普遍参考价值。