Apache Pinot中逻辑表的Broker租户支持机制解析

逻辑表与物理表的资源隔离差异

在Apache Pinot分布式OLAP系统中，逻辑表(Logical Table)作为虚拟表并不实际存储数据，而是通过映射多个物理表(Physical Table)实现数据聚合查询。这一特性带来了资源隔离的特殊性：

1. 服务端租户不适用：由于逻辑表无数据存储，传统的Server Tenant概念不适用
2. Broker租户必要性：查询执行时（特别是SSE模式下的聚合操作）会消耗Broker节点资源

Broker租户的核心设计原则

系统采用以下设计策略实现资源隔离：

1. 显式指定机制：逻辑表必须显式配置Broker Tenant，未配置时默认使用DefaultTenant
2. 独立资源分配：与底层物理表的Server Tenant完全解耦，即使物理表使用不同服务端租户也不影响Broker租户选择
3. 混合查询支持：允许逻辑表包含跨不同Server Tenant的物理表，由Broker协调多数据源查询

技术实现细节

存储架构

租户配置存储在Zookeeper的IDEALSTATES/brokerResource节点中，采用表名到Broker节点的映射结构。通过Helix管理器的状态转换机制（EV状态）实现动态更新。

查询路由

现有Broker选择器无需重大修改即可支持该特性：

1. 根据逻辑表配置的Broker Tenant定位候选节点
2. 完全兼容原有的节点选择算法（如哈希路由、负载均衡等）
3. 资源隔离在Broker层透明实现，对查询逻辑无侵入性

典型应用场景

1. 多租户SaaS系统：不同客户查询共享物理存储但使用独立的Broker计算资源
2. 关键业务隔离：保障高优先级逻辑表查询的Broker资源供给
3. 混合云部署：跨云物理表统一查询时的资源管控

性能优化建议

1. 高频查询的逻辑表建议配置专属Broker Tenant
2. 小规模逻辑表可共享DefaultTenant降低管理开销
3. 监控Broker节点的CPU/内存使用情况动态调整租户配置

该设计在保持Pinot原有架构简洁性的同时，为逻辑表提供了灵活的资源管控能力，是混合查询场景下的重要基础设施。