Apache Pinot 搭配 Presto:基于 Helm 在 Kubernetes 上部署与查询实战指南

原创2026-10-14 12:24:201,373 阅读
文章标签:OLAP数据库大数据流处理

Apache Pinot 搭配 Presto:基于 Helm 在 Kubernetes 上部署与查询实战指南

本篇技术指南围绕 Apache Pinot 仓库中的 helm/presto 子 Chart,完整讲解如何在 Kubernetes 上通过 Helm 一键拉起一个带内置 Pinot Connector 的 Presto 集群(1 个 Coordinator + 1 个 Worker),并打通从「部署」到「用 Presto SQL 查询 Pinot 表」的完整链路。读完本文,你将掌握该 Chart 的资源组成、部署与检查命令、Presto UI/CLI 两种访问方式、全部可配置参数的含义与默认值,以及如何通过 --set 或 values.yaml 按需定制集群规模与内存参数。

前置条件(Prerequisite)

开始之前,请确认环境满足以下要求:

  • kubectl:Kubernetes 命令行工具,用于操作集群资源;
  • Helm:Kubernetes 包管理工具,用于安装 Chart;
  • kubectl 已正确配置:kubectl 需要能够连接到你打算使用的 Kubernetes 集群;
  • 已部署好一个 Pinot demo 集群:Presto 通过 Pinot Connector 访问数据,因此需要先有一个运行中的 Pinot 集群(本 Chart 默认假定它与 Presto 同处 pinot-quickstart 命名空间,并通过 pinot-controller:9000 这个服务名访问 Pinot Controller)。

如果你还没有 Pinot demo 集群,可以参考仓库内 helm/pinot/README.md 的 "How to setup a Pinot cluster for demo" 章节:先执行 helm dependency update,再执行 kubectl create ns pinot-quickstart 与 helm install pinot -n pinot-quickstart . 完成部署。文档中示例查询所用的 airlinestats 表,即来自该 demo 集群中通过 airlineStats_realtime_table_config.json 配置的航班数据表。

Chart 组成与部署架构概览

在深入命令之前,先理解这个 Chart 会向集群中部署哪些资源。helm/presto 目录结构如下:

  • Chart.yaml:Chart 元数据,当前版本为 0.2.2-SNAPSHOT,描述为 "Presto is an open source distributed SQL query engine...",维护者为 pinot-dev;
  • values.yaml:全部可定制参数的默认值;
  • templates/_helpers.tpl:命名模板,统一生成 presto-coordinator、presto-worker 等资源的规范名称;
  • templates/coordinator/:Coordinator 的 ConfigMap、StatefulSet 与三类 Service;
  • templates/worker/:Worker 的 ConfigMap、StatefulSet 与两类 Service;
  • presto-coordinator.yaml 与 presto-worker.yaml:两份「无 Helm」的裸 Kubernetes 清单,供直接 kubectl apply 使用;
  • launch-presto-ui.sh、pinot-presto-cli.sh、presto-cli.sh:三个开箱即用的辅助脚本。

部署的资源类型可以归纳为三类:

  1. ConfigMap:由 coordinator/configmap.yaml 和 worker/configmap.yaml 渲染生成,分别承载:
    • presto-catalog:Presto 的 catalog 配置文件(即 Pinot Connector 属性);
    • presto-coordinator-etc / presto-worker-etc:Presto 的 config.properties、jvm.config、log.properties、node.properties 四份核心配置。
  2. StatefulSet:见 coordinator/statefulset.yml 与 worker/statefulset.yml。容器使用 apachepinot/pinot-presto 镜像,启动参数为 args: [ "run" ](对应镜像入口 ./bin/launcher run),并将上述 ConfigMap 以只读方式挂载到 /home/presto/etc 下的对应文件,数据目录挂载到 /home/presto/data。
  3. Service:每个组件都有一套 Service 组合:

从 values.yaml 可以看到,Chart 默认部署 1 个 Coordinator + 1 个 Worker,Coordinator 同时承担 Discovery Server 的角色(discovery.serverEnabled=true,URI 为 http://presto-coordinator:8080),Worker 通过该 URI 注册加入集群。

快速部署 Presto

在 helm/presto 目录下执行以下命令,即可启动一个包含 1 个 Presto Coordinator 和 1 个 Presto Worker 的示例集群:

helm install presto -n pinot-quickstart .

这是 Helm v3 的语法:presto 是 release 名称,-n pinot-quickstart 指定命名空间,. 表示使用当前目录下的 Chart。如果使用 Helm v2,等价写法为:

helm install --namespace "pinot-quickstart" --name "presto" .

注意:Chart 默认通过服务名 pinot-controller:9000 访问 Pinot Controller(见下文 catalogs 配置),因此 Presto 与 Pinot 集群应部署在同一个命名空间(如 pinot-quickstart),否则需要自定义 pinot.controller-urls。

检查部署状态

kubectl get all -n pinot-quickstart

该命令会列出 pinot-quickstart 命名空间下的全部资源(Pod、Service、StatefulSet 等)。当 presto-coordinator-0 与 presto-worker-0 处于 Running 状态、且 Service 均已创建时,说明部署成功。也可以进一步查看 Coordinator 的日志确认 Discovery Server 已启动:

kubectl logs -n pinot-quickstart presto-coordinator-0

访问 Presto UI

Chart 提供了 launch-presto-ui.sh 脚本,负责完成本地端口转发并在浏览器中打开 Presto UI:

./launch-presto-ui.sh

该脚本的核心逻辑(对应源码 launch-presto-ui.sh):

  1. 若本机 8080 端口未被占用,则执行 kubectl port-forward service/presto-coordinator 8080:8080 -n pinot-quickstart,将集群内 Coordinator 的 8080 端口转发到本地;
  2. 等待 2 秒后调用 open http://localhost:8080/ 打开浏览器;
  3. 用 tail -f /dev/null 保持脚本阻塞,退出时清理 port-forward 进程。

使用 Presto CLI 查询 Pinot

部署完成后,最简单的方式是直接运行仓库提供的 pinot-presto-cli.sh:

./pinot-presto-cli.sh

脚本会自动完成两件事:将本机 18080 端口转发到 service/presto-coordinator 的 8080 端口,然后以 --server localhost:18080 --catalog pinot --schema default 启动 Presto CLI 并进入交互式查询终端。

如果你想使用自定义参数,可以调用通用的 presto-cli.sh:

./presto-cli.sh --server localhost:8080 --catalog pinot --schema default

两个 CLI 脚本在首次运行时都会从 Maven 中央仓库下载 presto-cli-0.228-executable.jar 到 /tmp/presto-cli(见 presto-cli.sh)。如果本地 8080/18080 端口已被占用,需要先调整 port-forward 参数或释放端口。

示例查询:show catalogs

列出当前 Presto 中所有可用的 catalog:

presto:default> show catalogs;
 Catalog
---------
 pinot
 system
(2 rows)

Query 20191112_050827_00003_xkm4g, FINISHED, 1 node
Splits: 19 total, 19 done (100.00%)
0:01 [0 rows, 0B] [0 rows/s, 0B/s]

可以看到 pinot catalog 已被 Connector 注册,system 是 Presto 自带的系统 catalog。

示例查询:show tables

查看 pinot catalog 下有哪些表:

presto:default> show tables;
    Table
--------------
 airlinestats
(1 row)

Query 20191112_050907_00004_xkm4g, FINISHED, 1 node
Splits: 19 total, 19 done (100.00%)
0:01 [1 rows, 29B] [1 rows/s, 41B/s]

airlinestats 即来自 Pinot demo 集群中的航班数据表。

示例查询:DESCRIBE 查看表结构

presto:default> DESCRIBE pinot.dontcare.airlinestats;
        Column        |  Type   | Extra | Comment
----------------------+---------+-------+---------
 flightnum            | integer |       |
 origin               | varchar |       |
 quarter              | integer |       |
 lateaircraftdelay    | integer |       |
 divactualelapsedtime | integer |       |
......

Query 20191112_051021_00005_xkm4g, FINISHED, 1 node
Splits: 19 total, 19 done (100.00%)
0:02 [80 rows, 6.06KB] [35 rows/s, 2.66KB/s]

这里的三段式表名 pinot.dontcare.airlinestats 中,dontcare 是 schema 占位名(Connector 对该字段不敏感,可随意填写),返回的列类型由 Pinot Schema 自动推断映射而来。

示例查询:统计记录数

presto:default> select count(*) as cnt from pinot.dontcare.airlinestats limit 10;
 cnt
------
 9745
(1 row)

Query 20191112_051114_00006_xkm4g, FINISHED, 1 node
Splits: 17 total, 17 done (100.00%)
0:00 [1 rows, 8B] [2 rows/s, 19B/s]

验证 Worker 节点是否扩容成功

对 Presto 集群扩容后,可以通过系统表确认新节点已加入:

presto:default> select * from system.runtime.nodes;
               node_id                |        http_uri        |      node_version      | coordinator | state
--------------------------------------+------------------------+------------------------+-------------+--------
 d7123f72-bdd4-417e-adc2-9cfed5bbb12c | http://10.1.0.165:8080 | 0.236-SNAPSHOT-dbf3a80 | true        | active
 fe9b8813-7bfc-4b4e-aa84-9d50c5e87c57 | http://10.1.0.166:8080 | 0.236-SNAPSHOT-dbf3a80 | false       | active
(2 rows)

Query 20200510_073256_00012_z6jp6, FINISHED, 2 nodes
Splits: 17 total, 17 done (100.00%)
0:00 [2 rows, 174B] [14 rows/s, 1.27KB/s]

其中 coordinator=true 的是 Coordinator 节点,coordinator=false 的是 Worker 节点;state=active 表示节点已正常注册。

Chart 可配置参数详解

Chart 支持通过以下参数进行定制(下表完整继承了 README.md 的参数清单):

镜像参数

参数 描述 默认值
image.repository Presto 容器镜像仓库 apachepinot/pinot-presto
image.tag Presto 容器镜像标签 latest
image.pullPolicy 镜像拉取策略 IfNotPresent

Pinot Connector 参数

参数 描述 默认值
pinot.connectorName Pinot Connector 名称 pinot
pinot.controllerUrls Pinot Controller URL pinot-controller:9000
pinot.controllerRestService Pinot Controller REST 服务 URL pinot-controller:9000
pinot.allowMultipleAggregations 是否允许包含多个聚合函数的查询 true
pinot.useDateTrunc 是否允许在 Pinot 中使用 DateTrunc 函数 true
pinot.inferDateTypeInSchema 是否将 Pinot Schema 中 Days Since Epoch 类型的 TimeFieldSpec/DateTimeFieldSpec 列推断为 Date 类型 true
pinot.inferTimestampTypeInSchema 是否将 Pinot Schema 中 MilliSecond Since Epoch 类型的 TimeFieldSpec/DateTimeFieldSpec 列推断为 Timestamp 类型 true

这些参数在 values.yaml 中以 catalog 配置文件的形式落地(参数名采用连字符形式):

catalogs:
  pinot.properties: |-
    connector.name=pinot
    pinot.controller-urls=pinot-controller:9000
    pinot.controller-rest-service=pinot-controller:9000
    pinot.allow-multiple-aggregations=true
    pinot.use-date-trunc=true
    pinot.infer-date-type-in-schema=true
    pinot.infer-timestamp-type-in-schema=true
    pinot.use-streaming-for-segment-queries=false

Coordinator 参数

参数 描述 默认值
coordinator.name Presto Coordinator 名称 coordinator
coordinator.port Presto Coordinator 端口 8080
coordinator.replicaCount Coordinator 副本数 1
coordinator.query.maxMemory 单查询最大内存使用量 4GB
coordinator.query.maxMemoryPerNode 单查询每节点最大内存使用量 1GB
coordinator.query.maxTotalMemoryPerNode 每节点最大总内存使用量 2GB
coordinator.discovery.serverEnabled 是否启用 Discovery Server true
coordinator.discovery.uri Discovery Server URI http://presto-coordinator:8080
coordinator.jvm Coordinator JVM 配置 -server -Xmx16G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError
coordinator.log 日志文件内容 com.facebook.presto=INFO
coordinator.node.environment 节点环境 production
coordinator.node.id 节点 ID(默认为空,由 Presto 自动分配) ``
coordinator.node.dataDir 数据目录 /home/presto/data
coordinator.node.schedulerIncludeCoordinator 是否在 Coordinator 上调度查询 true
coordinator.persistence.enabled 是否使用 PVC 持久化 Coordinator 数据 true
coordinator.persistence.accessMode 数据卷访问模式 ReadWriteOnce
coordinator.persistence.size 数据卷大小 4G
coordinator.persistence.storageClass PVC 的存储类 ""
coordinator.service.port Service 端口 8080
coordinator.external.enabled 是否将 Coordinator 对外暴露 true
coordinator.external.type 外部 Service 类型 LoadBalancer
coordinator.external.port 外部 Service 端口 8080
coordinator.resources Coordinator 的资源 requests/limits {}
coordinator.nodeSelector Pod 调度的节点标签选择器 {}
coordinator.affinity Pod 亲和性与反亲和性配置 {}
coordinator.tolerations Pod 的节点容忍列表 []
coordinator.podAnnotations 添加到 Coordinator Pod 的注解 {}
coordinator.updateStrategy.type StatefulSet 更新策略 RollingUpdate

Worker 参数

参数 描述 默认值
worker.name Presto Worker 名称 worker
worker.port Presto Worker 端口 8080
worker.replicaCount Worker 副本数 1
worker.query.maxMemory 单查询最大内存使用量 8GB
worker.query.maxMemoryPerNode 单查询每节点最大内存使用量 4GB
worker.query.maxTotalMemoryPerNode 每节点最大总内存使用量 8GB
worker.discovery.uri Discovery Server URI http://presto-coordinator:8080
worker.jvm Worker JVM 配置 -server -Xmx64G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError
worker.log 日志文件内容 com.facebook.presto=INFO
worker.node.environment 节点环境 production
worker.node.id 节点 ID(默认为空,由 Presto 自动分配) ``
worker.node.dataDir 数据目录 /home/presto/data
worker.persistence.enabled 是否使用 PVC 持久化 Worker 数据 true
worker.persistence.accessMode 数据卷访问模式 ReadWriteOnce
worker.persistence.size 数据卷大小 4G(values.yaml 中实际默认值为 10G,以你使用的 Chart 版本为准)
worker.persistence.storageClass PVC 的存储类 ""
worker.service.port Service 端口 8080
worker.resources Worker 的资源 requests/limits {}
worker.nodeSelector Pod 调度的节点标签选择器 {}
worker.affinity Pod 亲和性与反亲和性配置 {}
worker.tolerations Pod 的节点容忍列表 []
worker.podAnnotations 添加到 Worker Pod 的注解 {}
worker.updateStrategy.type StatefulSet 更新策略 RollingUpdate

配置参数如何映射到 Presto 配置文件

理解参数映射有助于排查问题。以 Coordinator 为例,coordinator/configmap.yaml 将 values.yaml 中的参数渲染为 Presto 的四份标准配置文件:

  • config.properties:coordinator=true、node-scheduler.include-coordinator(对应 coordinator.node.schedulerIncludeCoordinator)、http-server.http.port(对应 coordinator.port)、query.max-memory / query.max-memory-per-node / query.max-total-memory-per-node(对应 coordinator.query.*)、discovery-server.enabled 与 discovery.uri(对应 coordinator.discovery.*);
  • jvm.config:由 coordinator.jvm 逐行渲染,默认启用 G1GC、开启 OOM 时堆转储并自动退出;
  • log.properties:由 coordinator.log 渲染,默认 com.facebook.presto=INFO;
  • node.properties:由 coordinator.node.environment、coordinator.node.id(仅当非空时写入)与 coordinator.node.dataDir 渲染。

Worker 的 worker/configmap.yaml 与之类似,区别在于 coordinator=false、不启用 Discovery Server,仅通过 discovery.uri 指向 Coordinator。

这些 ConfigMap 随后在 coordinator/statefulset.yml 中以 subPath 方式分别挂载到 /home/presto/etc/config.properties、/home/presto/etc/log.properties、/home/presto/etc/node.properties 与 /home/presto/etc/jvm.config;catalog 目录则以只读方式挂载到 /home/presto/etc/catalog。数据持久化通过 volumeClaimTemplates(名称为 presto-data)实现,并设置了 pv.beta.kubernetes.io/gid 注解以配合容器内 runAsUser: 1000 的安全上下文。

使用 --set 或 values.yaml 定制 Chart

Chart 提供了两种定制方式。

方式一:命令行 --set 指定参数

helm install presto -n pinot-quickstart . \
  --set coordinator.replicaCount=1 \
  --set worker.replicaCount=4 \
  --set worker.query.maxMemory=50GB \
  --set coordinator.query.maxMemory=5GB

多个参数用 , 分隔。例如上面的命令将 Worker 扩容到 4 个副本,并调大查询内存上限。

方式二:提供自定义 values 文件

helm install --name presto -f values.yaml .

(Helm v3 等价写法为 helm install presto -n pinot-quickstart -f values.yaml .。)你可以复制仓库的 values.yaml 作为起点,修改其中的 replicaCount、query.*、jvm、persistence.*、resources 等字段后再安装。

常见的定制场景包括:

  • 扩容 Worker:修改 worker.replicaCount(例如设为 4),Presto 会通过 Discovery Server 自动发现新节点,可通过 select * from system.runtime.nodes 验证;
  • 调整内存:修改 coordinator.query.maxMemory、worker.query.maxMemoryPerNode 等参数,同时需要保证 jvm 中的 -Xmx 与查询内存上限匹配,避免查询因内存不足失败;
  • 配置资源配额:通过 coordinator.resources / worker.resources 设置 requests 与 limits;
  • 关闭外部暴露:将 coordinator.external.enabled 设为 false,仅通过 kubectl port-forward 访问;
  • 更换存储类:设置 coordinator.persistence.storageClass / worker.persistence.storageClass(设为 "-" 表示使用空存储类,强制使用默认存储)。

直接使用裸清单部署(不使用 Helm)

如果你希望绕开 Helm,仓库还提供了两份可直接 kubectl apply 的清单:

  • presto-coordinator.yaml:包含 presto-catalog / presto-etc 两个 ConfigMap、presto-coordinator StatefulSet(副本数 1,query.max-memory=5GB)以及 Headless Service;
  • presto-worker.yaml:包含 presto-worker-etc ConfigMap、presto-worker StatefulSet(示例副本数 4,query.max-memory=50GB)以及 Headless Service。

两份清单均已指定 namespace: pinot-quickstart,镜像使用 apachepinot/pinot-presto:latest,数据卷大小分别为 5Gi 与 20Gi(GKE 环境可参考注释使用 pd-ssd 或 standard 存储类)。这种方式适合快速实验,但不具备 Helm 的参数化能力。

镜像说明:apachepinot/pinot-presto

本 Chart 使用的 apachepinot/pinot-presto 镜像由仓库内的 Dockerfile 构建:它以 openjdk:8 为基础,从 prestodb/presto 源码仓库检出并编译 Presto Server,随后将 presto-pinot 模块构建出的连接器插件复制到 /home/presto/plugin/pinot,并拷贝 etc 目录下的默认配置(入口为 ./bin/launcher,默认命令 run)。镜像内置的 catalog 配置位于 docker/images/pinot-presto/etc/catalog/pinot.properties,其中指定 pinot.controller-urls=pinot-controller:9000,与 Helm 默认值保持一致;另有面向快速启动场景的 pinot_quickstart.properties,将 Controller 地址指向 pinot-quickstart:9000。

常见问题与注意事项

  1. Connector 连不上 Pinot:确认 Presto 与 Pinot 部署在同一命名空间,且 pinot.controller-urls / pinot.controller-rest-service 指向的 Controller 服务名正确(默认 pinot-controller:9000)。catalog 文件中的属性名使用连字符形式(如 pinot.controller-urls),不要与 README 表格中的驼峰写法混淆。
  2. 查询内存不足:默认 worker.query.maxMemoryPerNode=4GB,而 JVM 默认堆为 -Xmx64G。若修改查询内存参数,请同步调整 jvm 配置,避免 Presto 因内存超限触发 OOM(默认 JVM 参数已开启 -XX:+ExitOnOutOfMemoryError)。
  3. 端口转发失败:launch-presto-ui.sh 占用本机 8080、pinot-presto-cli.sh 占用本机 18080,使用前请确认端口未被占用;脚本退出时会清理 port-forward 进程。
  4. Helm 版本差异:helm install presto -n pinot-quickstart . 是 Helm v3 语法;README 中 helm install --name presto -f values.yaml . 为 Helm v2 写法,请按实际环境选择。
  5. PVC 存储:Coordinator 与 Worker 默认都启用 PVC 持久化,存储类为空字符串时使用集群默认 StorageClass;在多节点集群中注意 ReadWriteOnce 的访问模式限制。

总结

通过 helm/presto 这个 Chart,你可以在 Kubernetes 上快速获得一个开箱即用的「Presto + Apache Pinot」查询环境:Helm 负责把 Coordinator、Worker、ConfigMap、Service 与 PVC 全部编排好,Pinot Connector 由内置镜像自动加载,你只需 helm install 一条命令即可完成部署,随后通过 UI 或 CLI 直接以标准 Presto SQL 查询 Pinot 中的实时与离线数据。对于生产环境,则可以基于本文的参数表,结合集群实际的节点规格与内存预算,通过 values.yaml 精细化调整副本数、查询内存、JVM 参数与持久化配置。

登录后查看全文
pinot