首页
/ Apache Pinot 1.3.0版本发布:实时分析引擎的重大升级

Apache Pinot 1.3.0版本发布:实时分析引擎的重大升级

2025-06-10 20:38:23作者:庞队千Virginia

前言

Apache Pinot是一个开源的分布式实时分析数据库,专为低延迟、高吞吐量的分析查询而设计。它能够处理PB级别的数据,并在亚秒级内返回查询结果,非常适合实时分析、运营监控和用户行为分析等场景。Pinot最初由LinkedIn开发并开源,现已成为Apache顶级项目。

多阶段查询引擎的显著改进

Pinot 1.3.0版本在多阶段查询引擎方面进行了多项重要优化,显著提升了查询性能和功能完备性。

查询计划重用机制

新版本引入了跨阶段的查询计划重用机制,而非仅限于子树级别。通过将查询计划划分为多个阶段,并在阶段边界处实现数据复用,大幅减少了重复计算。每个阶段由拉取式操作符组成,通过MailboxSendOperator和MailboxReceiveOperator进行连接。改进后的MailboxSendOperator能够向多个阶段发送数据,使阶段连接形成有向无环图(DAG),提供了更大的灵活性和效率。

执行计划可视化

新增的Segment Plan功能为多阶段查询提供了完整的执行计划展示,包括物理操作符的详细信息。新的explain模式采用Calcite术语,通过broker-server通信流程分析查询计划并生成物理执行计划,而无需实际执行查询。引入的ExplainedPlanNode增强了查询执行计划的透明度,便于用户进行调试和优化。

数据块处理性能提升

通过对DataBlock的构建、序列化和反序列化过程进行优化,减少了内存分配和拷贝操作,性能提升了1-3倍。这些改进显著降低了GC相关的延迟问题,特别适合生产环境中大数据量的处理场景。

实验性时间序列查询引擎

1.3.0版本引入了一个实验性的时间序列查询引擎,这是Pinot在时序数据分析领域的重要拓展。

核心特性

该引擎通过插件化框架支持多种时间序列查询语言(如PromQL、M3QL),解决了传统SQL引擎在时序分析中的局限性。它针对高基数指标等观测性用例进行了特别优化,提供了更高效的分析能力。

引擎采用系列(series)而非行(row)的方式处理数据,不仅提升了性能,还简化了复杂分析函数的实现。同时,通过复用多阶段引擎的查询调度器、查询分发器和Mailbox等组件,保持了核心系统的简洁性。

典型应用场景

  • 绘制特定商户的小时订单数变化曲线
  • 执行订单数的周环比分析
  • 处理高基数监控指标的分析

数据库级查询配额管理

新版本增加了数据库级别的查询速率限制功能,可以统一控制某个数据库下所有表的查询流量。

配置方式

  • 默认查询配额通过ClusterConfig设置(默认1000 QPS)
  • 可通过znode为特定数据库配置覆盖值
  • 提供REST API进行动态配额调整

动态调整机制

配额系统能够实时响应以下变化:

  • 数据库配置变更
  • 集群配置更新
  • 可用broker资源变化
  • 表状态转换

二进制工作负载调度器

新引入的BinaryWorkloadScheduler将查询分为两类进行差异化处理:

  1. 主工作负载:处理生产流量,采用无限制的FCFS调度策略
  2. 次工作负载:用于临时查询和开发测试,施加多种限制:
    • 并发查询数上限
    • 线程数限制
    • 队列超时修剪机制

这种设计确保了关键业务查询不受临时性分析任务的影响,提高了集群的稳定性。

游标支持与分页查询

1.3.0版本新增了游标支持,允许客户端分批获取大型查询结果,显著降低了内存需求。

实现特点

  • 通过新增的REST API实现分页查询
  • 提供结果存储和序列化的SPI接口
  • 支持查询结果元数据查看和管理

这种机制特别适合需要分页展示结果的UI应用和逐步处理大数据集的场景。

功能增强与新特性

URL处理函数

新增了全面的URL处理函数集,包括:

  • 协议、域名、路径等组成部分提取
  • 参数解析与操作
  • URL编码与解码
  • 层次结构分析

这些函数极大简化了URL分析任务,如用户行为分析和流量来源追踪。

GeoJSON支持

新增了地理空间数据处理能力:

  • ST_GeomFromGeoJson:将GeoJSON转换为几何对象
  • ST_GeogFromGeoJson:将GeoJSON转换为地理对象
  • ST_AsGeoJson:将空间对象序列化为GeoJSON

支持包括点、线、面等多种几何类型,为位置智能应用提供了基础支持。

多流式摄入

允许单个表从多个数据源并行摄入数据,同时:

  • 沿用现有表配置接口
  • 区分流分区与Pinot段分区
  • 兼容现有的分区自动扩展逻辑

安全与稳定性改进

1.3.0版本在安全性方面有多项增强:

  • 强制每日SSL证书刷新
  • broker与server间TLS支持
  • 矩阵参数安全处理
  • 环境变量注入防护
  • 多项依赖问题修复

总结

Apache Pinot 1.3.0版本在多阶段查询引擎、时间序列分析、资源管理等方面带来了重大改进,进一步巩固了其作为实时分析引擎的领先地位。新引入的实验性时间序列引擎特别值得关注,为观测性用例提供了原生支持。此外,在安全性、稳定性和易用性方面的持续优化,使得Pinot能够更好地服务于大规模实时分析场景。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
docsdocs
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
144
1.93 K
kernelkernel
deepin linux kernel
C
22
6
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
192
274
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
145
189
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
930
553
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
8
0
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
423
392
金融AI编程实战金融AI编程实战
为非计算机科班出身 (例如财经类高校金融学院) 同学量身定制,新手友好,让学生以亲身实践开源开发的方式,学会使用计算机自动化自己的科研/创新工作。案例以量化投资为主线,涉及 Bash、Python、SQL、BI、AI 等全技术栈,培养面向未来的数智化人才 (如数据工程师、数据分析师、数据科学家、数据决策者、量化投资人)。
Jupyter Notebook
75
66
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.11 K
0
openHiTLS-examplesopenHiTLS-examples
本仓将为广大高校开发者提供开源实践和创新开发平台,收集和展示openHiTLS示例代码及创新应用,欢迎大家投稿,让全世界看到您的精巧密码实现设计,也让更多人通过您的优秀成果,理解、喜爱上密码技术。
C
64
511