Apache Kyuubi 中 MaxScanStrategy 对 DSv2 的支持增强

背景介绍

Apache Kyuubi 是一个分布式 SQL 引擎，为大数据处理提供了统一的服务层。在最新版本中，开发团队正在扩展其 MaxScanStrategy 功能，以支持 DataSource V2 (DSv2) 接口。

MaxScanStrategy 的作用

MaxScanStrategy 是 Kyuubi 中的一种扫描策略，主要用于限制单个扫描操作处理的文件大小。这一策略在 Hive 等数据源中已经得到应用，能够有效防止因处理过大文件而导致的资源耗尽问题。

技术挑战

随着 Spark 生态系统中 DataSource V2 接口的普及，越来越多的数据源开始采用这一新标准。然而，原有的 MaxScanStrategy 仅支持传统数据源接口，无法为使用 DSv2 的数据源提供相同的文件大小限制功能。

实现方案

开发团队通过以下方式实现了对 DSv2 的支持：

1. 扩展 MaxScanStrategy 的适用范围，使其能够识别和处理 DSv2 数据源
2. 保持与原有功能的兼容性，确保不影响现有数据源的使用
3. 实现统一的文件大小限制逻辑，无论数据源采用哪种接口都能获得一致的体验

技术细节

在实现过程中，团队需要处理 DSv2 特有的几个关键点：

• DSv2 使用不同的扫描接口和分区发现机制
• 需要适配 DSv2 的分片(splits)概念，而非传统的文件分区
• 确保在混合环境中(同时存在 V1 和 V2 数据源)策略能够正确工作

实际价值

这一增强为 Kyuubi 用户带来了以下好处：

1. 统一了文件大小限制策略，无论使用哪种数据源接口
2. 为采用 DSv2 的新数据源提供了资源保护机制
3. 提升了系统在处理大规模数据时的稳定性
4. 为未来更多数据源迁移到 DSv2 打下了基础

总结

Apache Kyuubi 通过扩展 MaxScanStrategy 对 DSv2 的支持，进一步巩固了其作为统一 SQL 服务层的地位。这一改进不仅解决了当前的技术需求，也为未来的功能扩展提供了良好的基础架构。