Arrow Ballista项目配置优化：精简BallistaConfig设计

背景

在分布式查询引擎Arrow Ballista项目中，配置管理一直存在冗余问题。当前系统同时维护着BallistaConfig和SessionConfig两套配置体系，其中大量配置项实际上是重复的。这种设计不仅增加了维护成本，也容易导致配置不一致的问题。

问题分析

通过对比分析，我们发现Ballista中有多达10组配置项与DataFusion的配置完全对应。例如：

• ballista.batch.size对应datafusion.execution.batch_size
• ballista.collect_statistics对应datafusion.execution.collect_statistics
• ballista.repartition.aggregations对应datafusion.optimizer.repartition_aggregations

这些配置项在功能上完全一致，只是前缀不同。在代码实现中，Ballista实际上是通过SessionConfig::from_string_hash_map方法将这些配置转换为DataFusion的配置格式，然后再通过一系列with_*方法覆盖设置。

解决方案

我们建议对配置系统进行以下优化：

1. 精简BallistaConfig：将其仅保留Ballista特有的配置项，如：

   • ballista.grpc_client_max_message_size（gRPC客户端最大消息大小）
   • ballista.job.name（作业名称）

2. 统一使用SessionConfig：将原本在BallistaConfig中的通用配置项完全交由DataFusion的SessionConfig管理

3. 特殊配置处理：对于必须设置为特定值的配置（如datafusion.optimizer.enable_round_robin_repartition必须为false），在上下文创建时显式设置

技术实现

在具体实现上，create_datafusion_context函数可以简化为：

pub fn create_datafusion_context(
    ballista_config: &BallistaConfig,  // 仅包含Ballista特有配置
    session_builder: SessionBuilder,
) -> Arc<SessionContext> {
    let config = SessionConfig::new()
        .with_target_partitions(ballista_config.default_shuffle_partitions())
        .set_bool("datafusion.optimizer.enable_round_robin_repartition", false);
    
    let session_state = session_builder(config);
    Arc::new(SessionContext::new_with_state(session_state))
}

优势与收益

1. 配置统一：消除重复配置，避免潜在的配置冲突
2. 维护简化：减少需要维护的配置项数量
3. 接口清晰：BallistaConfig仅关注Ballista特有配置，职责更单一
4. 兼容性保证：与DataFusion配置系统完全兼容

后续影响

这一变更将使Ballista的配置系统更加简洁高效。随着SessionContextExt的引入，BallistaConfig已经从公共接口中移除，此次优化将进一步减少其在内部接口中的使用，使系统架构更加清晰。

对于开发者而言，这意味着更简单的配置管理和更少的认知负担；对于用户而言，则能获得更一致的配置体验和更可靠的行为预期。