Apache Pinot 搭配 Presto:基于 Helm 在 Kubernetes 上部署与查询实战指南
Apache Pinot 搭配 Presto:基于 Helm 在 Kubernetes 上部署与查询实战指南
本篇技术指南围绕 Apache Pinot 仓库中的 helm/presto 子 Chart,完整讲解如何在 Kubernetes 上通过 Helm 一键拉起一个带内置 Pinot Connector 的 Presto 集群(1 个 Coordinator + 1 个 Worker),并打通从「部署」到「用 Presto SQL 查询 Pinot 表」的完整链路。读完本文,你将掌握该 Chart 的资源组成、部署与检查命令、Presto UI/CLI 两种访问方式、全部可配置参数的含义与默认值,以及如何通过 --set 或 values.yaml 按需定制集群规模与内存参数。
前置条件(Prerequisite)
开始之前,请确认环境满足以下要求:
- kubectl:Kubernetes 命令行工具,用于操作集群资源;
- Helm:Kubernetes 包管理工具,用于安装 Chart;
- kubectl 已正确配置:
kubectl需要能够连接到你打算使用的 Kubernetes 集群; - 已部署好一个 Pinot demo 集群:Presto 通过 Pinot Connector 访问数据,因此需要先有一个运行中的 Pinot 集群(本 Chart 默认假定它与 Presto 同处
pinot-quickstart命名空间,并通过pinot-controller:9000这个服务名访问 Pinot Controller)。
如果你还没有 Pinot demo 集群,可以参考仓库内 helm/pinot/README.md 的 "How to setup a Pinot cluster for demo" 章节:先执行 helm dependency update,再执行 kubectl create ns pinot-quickstart 与 helm install pinot -n pinot-quickstart . 完成部署。文档中示例查询所用的 airlinestats 表,即来自该 demo 集群中通过 airlineStats_realtime_table_config.json 配置的航班数据表。
Chart 组成与部署架构概览
在深入命令之前,先理解这个 Chart 会向集群中部署哪些资源。helm/presto 目录结构如下:
- Chart.yaml:Chart 元数据,当前版本为
0.2.2-SNAPSHOT,描述为 "Presto is an open source distributed SQL query engine...",维护者为 pinot-dev; - values.yaml:全部可定制参数的默认值;
- templates/_helpers.tpl:命名模板,统一生成
presto-coordinator、presto-worker等资源的规范名称; templates/coordinator/:Coordinator 的 ConfigMap、StatefulSet 与三类 Service;templates/worker/:Worker 的 ConfigMap、StatefulSet 与两类 Service;- presto-coordinator.yaml 与 presto-worker.yaml:两份「无 Helm」的裸 Kubernetes 清单,供直接
kubectl apply使用; - launch-presto-ui.sh、pinot-presto-cli.sh、presto-cli.sh:三个开箱即用的辅助脚本。
部署的资源类型可以归纳为三类:
- ConfigMap:由 coordinator/configmap.yaml 和 worker/configmap.yaml 渲染生成,分别承载:
presto-catalog:Presto 的 catalog 配置文件(即 Pinot Connector 属性);presto-coordinator-etc/presto-worker-etc:Presto 的config.properties、jvm.config、log.properties、node.properties四份核心配置。
- StatefulSet:见 coordinator/statefulset.yml 与 worker/statefulset.yml。容器使用
apachepinot/pinot-presto镜像,启动参数为args: [ "run" ](对应镜像入口./bin/launcher run),并将上述 ConfigMap 以只读方式挂载到/home/presto/etc下的对应文件,数据目录挂载到/home/presto/data。 - Service:每个组件都有一套 Service 组合:
- 常规 ClusterIP Service(coordinator/service.yaml),供集群内部访问;
- Headless Service(coordinator/service-headless.yaml),
clusterIP: None,配合 StatefulSet 使用,使每个 Pod 拥有稳定 DNS 名; - 可选的外部 Service(coordinator/service-external.yaml),默认以
LoadBalancer类型暴露 Coordinator 的 8080 端口。
从 values.yaml 可以看到,Chart 默认部署 1 个 Coordinator + 1 个 Worker,Coordinator 同时承担 Discovery Server 的角色(discovery.serverEnabled=true,URI 为 http://presto-coordinator:8080),Worker 通过该 URI 注册加入集群。
快速部署 Presto
在 helm/presto 目录下执行以下命令,即可启动一个包含 1 个 Presto Coordinator 和 1 个 Presto Worker 的示例集群:
helm install presto -n pinot-quickstart .
这是 Helm v3 的语法:presto 是 release 名称,-n pinot-quickstart 指定命名空间,. 表示使用当前目录下的 Chart。如果使用 Helm v2,等价写法为:
helm install --namespace "pinot-quickstart" --name "presto" .
注意:Chart 默认通过服务名
pinot-controller:9000访问 Pinot Controller(见下文 catalogs 配置),因此 Presto 与 Pinot 集群应部署在同一个命名空间(如pinot-quickstart),否则需要自定义pinot.controller-urls。
检查部署状态
kubectl get all -n pinot-quickstart
该命令会列出 pinot-quickstart 命名空间下的全部资源(Pod、Service、StatefulSet 等)。当 presto-coordinator-0 与 presto-worker-0 处于 Running 状态、且 Service 均已创建时,说明部署成功。也可以进一步查看 Coordinator 的日志确认 Discovery Server 已启动:
kubectl logs -n pinot-quickstart presto-coordinator-0
访问 Presto UI
Chart 提供了 launch-presto-ui.sh 脚本,负责完成本地端口转发并在浏览器中打开 Presto UI:
./launch-presto-ui.sh
该脚本的核心逻辑(对应源码 launch-presto-ui.sh):
- 若本机 8080 端口未被占用,则执行
kubectl port-forward service/presto-coordinator 8080:8080 -n pinot-quickstart,将集群内 Coordinator 的 8080 端口转发到本地; - 等待 2 秒后调用
open http://localhost:8080/打开浏览器; - 用
tail -f /dev/null保持脚本阻塞,退出时清理 port-forward 进程。
使用 Presto CLI 查询 Pinot
部署完成后,最简单的方式是直接运行仓库提供的 pinot-presto-cli.sh:
./pinot-presto-cli.sh
脚本会自动完成两件事:将本机 18080 端口转发到 service/presto-coordinator 的 8080 端口,然后以 --server localhost:18080 --catalog pinot --schema default 启动 Presto CLI 并进入交互式查询终端。
如果你想使用自定义参数,可以调用通用的 presto-cli.sh:
./presto-cli.sh --server localhost:8080 --catalog pinot --schema default
两个 CLI 脚本在首次运行时都会从 Maven 中央仓库下载
presto-cli-0.228-executable.jar到/tmp/presto-cli(见 presto-cli.sh)。如果本地 8080/18080 端口已被占用,需要先调整 port-forward 参数或释放端口。
示例查询:show catalogs
列出当前 Presto 中所有可用的 catalog:
presto:default> show catalogs;
Catalog
---------
pinot
system
(2 rows)
Query 20191112_050827_00003_xkm4g, FINISHED, 1 node
Splits: 19 total, 19 done (100.00%)
0:01 [0 rows, 0B] [0 rows/s, 0B/s]
可以看到 pinot catalog 已被 Connector 注册,system 是 Presto 自带的系统 catalog。
示例查询:show tables
查看 pinot catalog 下有哪些表:
presto:default> show tables;
Table
--------------
airlinestats
(1 row)
Query 20191112_050907_00004_xkm4g, FINISHED, 1 node
Splits: 19 total, 19 done (100.00%)
0:01 [1 rows, 29B] [1 rows/s, 41B/s]
airlinestats 即来自 Pinot demo 集群中的航班数据表。
示例查询:DESCRIBE 查看表结构
presto:default> DESCRIBE pinot.dontcare.airlinestats;
Column | Type | Extra | Comment
----------------------+---------+-------+---------
flightnum | integer | |
origin | varchar | |
quarter | integer | |
lateaircraftdelay | integer | |
divactualelapsedtime | integer | |
......
Query 20191112_051021_00005_xkm4g, FINISHED, 1 node
Splits: 19 total, 19 done (100.00%)
0:02 [80 rows, 6.06KB] [35 rows/s, 2.66KB/s]
这里的三段式表名 pinot.dontcare.airlinestats 中,dontcare 是 schema 占位名(Connector 对该字段不敏感,可随意填写),返回的列类型由 Pinot Schema 自动推断映射而来。
示例查询:统计记录数
presto:default> select count(*) as cnt from pinot.dontcare.airlinestats limit 10;
cnt
------
9745
(1 row)
Query 20191112_051114_00006_xkm4g, FINISHED, 1 node
Splits: 17 total, 17 done (100.00%)
0:00 [1 rows, 8B] [2 rows/s, 19B/s]
验证 Worker 节点是否扩容成功
对 Presto 集群扩容后,可以通过系统表确认新节点已加入:
presto:default> select * from system.runtime.nodes;
node_id | http_uri | node_version | coordinator | state
--------------------------------------+------------------------+------------------------+-------------+--------
d7123f72-bdd4-417e-adc2-9cfed5bbb12c | http://10.1.0.165:8080 | 0.236-SNAPSHOT-dbf3a80 | true | active
fe9b8813-7bfc-4b4e-aa84-9d50c5e87c57 | http://10.1.0.166:8080 | 0.236-SNAPSHOT-dbf3a80 | false | active
(2 rows)
Query 20200510_073256_00012_z6jp6, FINISHED, 2 nodes
Splits: 17 total, 17 done (100.00%)
0:00 [2 rows, 174B] [14 rows/s, 1.27KB/s]
其中 coordinator=true 的是 Coordinator 节点,coordinator=false 的是 Worker 节点;state=active 表示节点已正常注册。
Chart 可配置参数详解
Chart 支持通过以下参数进行定制(下表完整继承了 README.md 的参数清单):
镜像参数
| 参数 | 描述 | 默认值 |
|---|---|---|
image.repository |
Presto 容器镜像仓库 | apachepinot/pinot-presto |
image.tag |
Presto 容器镜像标签 | latest |
image.pullPolicy |
镜像拉取策略 | IfNotPresent |
Pinot Connector 参数
| 参数 | 描述 | 默认值 |
|---|---|---|
pinot.connectorName |
Pinot Connector 名称 | pinot |
pinot.controllerUrls |
Pinot Controller URL | pinot-controller:9000 |
pinot.controllerRestService |
Pinot Controller REST 服务 URL | pinot-controller:9000 |
pinot.allowMultipleAggregations |
是否允许包含多个聚合函数的查询 | true |
pinot.useDateTrunc |
是否允许在 Pinot 中使用 DateTrunc 函数 | true |
pinot.inferDateTypeInSchema |
是否将 Pinot Schema 中 Days Since Epoch 类型的 TimeFieldSpec/DateTimeFieldSpec 列推断为 Date 类型 | true |
pinot.inferTimestampTypeInSchema |
是否将 Pinot Schema 中 MilliSecond Since Epoch 类型的 TimeFieldSpec/DateTimeFieldSpec 列推断为 Timestamp 类型 | true |
这些参数在 values.yaml 中以 catalog 配置文件的形式落地(参数名采用连字符形式):
catalogs:
pinot.properties: |-
connector.name=pinot
pinot.controller-urls=pinot-controller:9000
pinot.controller-rest-service=pinot-controller:9000
pinot.allow-multiple-aggregations=true
pinot.use-date-trunc=true
pinot.infer-date-type-in-schema=true
pinot.infer-timestamp-type-in-schema=true
pinot.use-streaming-for-segment-queries=false
Coordinator 参数
| 参数 | 描述 | 默认值 |
|---|---|---|
coordinator.name |
Presto Coordinator 名称 | coordinator |
coordinator.port |
Presto Coordinator 端口 | 8080 |
coordinator.replicaCount |
Coordinator 副本数 | 1 |
coordinator.query.maxMemory |
单查询最大内存使用量 | 4GB |
coordinator.query.maxMemoryPerNode |
单查询每节点最大内存使用量 | 1GB |
coordinator.query.maxTotalMemoryPerNode |
每节点最大总内存使用量 | 2GB |
coordinator.discovery.serverEnabled |
是否启用 Discovery Server | true |
coordinator.discovery.uri |
Discovery Server URI | http://presto-coordinator:8080 |
coordinator.jvm |
Coordinator JVM 配置 | -server -Xmx16G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError |
coordinator.log |
日志文件内容 | com.facebook.presto=INFO |
coordinator.node.environment |
节点环境 | production |
coordinator.node.id |
节点 ID(默认为空,由 Presto 自动分配) | `` |
coordinator.node.dataDir |
数据目录 | /home/presto/data |
coordinator.node.schedulerIncludeCoordinator |
是否在 Coordinator 上调度查询 | true |
coordinator.persistence.enabled |
是否使用 PVC 持久化 Coordinator 数据 | true |
coordinator.persistence.accessMode |
数据卷访问模式 | ReadWriteOnce |
coordinator.persistence.size |
数据卷大小 | 4G |
coordinator.persistence.storageClass |
PVC 的存储类 | "" |
coordinator.service.port |
Service 端口 | 8080 |
coordinator.external.enabled |
是否将 Coordinator 对外暴露 | true |
coordinator.external.type |
外部 Service 类型 | LoadBalancer |
coordinator.external.port |
外部 Service 端口 | 8080 |
coordinator.resources |
Coordinator 的资源 requests/limits | {} |
coordinator.nodeSelector |
Pod 调度的节点标签选择器 | {} |
coordinator.affinity |
Pod 亲和性与反亲和性配置 | {} |
coordinator.tolerations |
Pod 的节点容忍列表 | [] |
coordinator.podAnnotations |
添加到 Coordinator Pod 的注解 | {} |
coordinator.updateStrategy.type |
StatefulSet 更新策略 | RollingUpdate |
Worker 参数
| 参数 | 描述 | 默认值 |
|---|---|---|
worker.name |
Presto Worker 名称 | worker |
worker.port |
Presto Worker 端口 | 8080 |
worker.replicaCount |
Worker 副本数 | 1 |
worker.query.maxMemory |
单查询最大内存使用量 | 8GB |
worker.query.maxMemoryPerNode |
单查询每节点最大内存使用量 | 4GB |
worker.query.maxTotalMemoryPerNode |
每节点最大总内存使用量 | 8GB |
worker.discovery.uri |
Discovery Server URI | http://presto-coordinator:8080 |
worker.jvm |
Worker JVM 配置 | -server -Xmx64G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError |
worker.log |
日志文件内容 | com.facebook.presto=INFO |
worker.node.environment |
节点环境 | production |
worker.node.id |
节点 ID(默认为空,由 Presto 自动分配) | `` |
worker.node.dataDir |
数据目录 | /home/presto/data |
worker.persistence.enabled |
是否使用 PVC 持久化 Worker 数据 | true |
worker.persistence.accessMode |
数据卷访问模式 | ReadWriteOnce |
worker.persistence.size |
数据卷大小 | 4G(values.yaml 中实际默认值为 10G,以你使用的 Chart 版本为准) |
worker.persistence.storageClass |
PVC 的存储类 | "" |
worker.service.port |
Service 端口 | 8080 |
worker.resources |
Worker 的资源 requests/limits | {} |
worker.nodeSelector |
Pod 调度的节点标签选择器 | {} |
worker.affinity |
Pod 亲和性与反亲和性配置 | {} |
worker.tolerations |
Pod 的节点容忍列表 | [] |
worker.podAnnotations |
添加到 Worker Pod 的注解 | {} |
worker.updateStrategy.type |
StatefulSet 更新策略 | RollingUpdate |
配置参数如何映射到 Presto 配置文件
理解参数映射有助于排查问题。以 Coordinator 为例,coordinator/configmap.yaml 将 values.yaml 中的参数渲染为 Presto 的四份标准配置文件:
- config.properties:
coordinator=true、node-scheduler.include-coordinator(对应coordinator.node.schedulerIncludeCoordinator)、http-server.http.port(对应coordinator.port)、query.max-memory/query.max-memory-per-node/query.max-total-memory-per-node(对应coordinator.query.*)、discovery-server.enabled与discovery.uri(对应coordinator.discovery.*); - jvm.config:由
coordinator.jvm逐行渲染,默认启用 G1GC、开启 OOM 时堆转储并自动退出; - log.properties:由
coordinator.log渲染,默认com.facebook.presto=INFO; - node.properties:由
coordinator.node.environment、coordinator.node.id(仅当非空时写入)与coordinator.node.dataDir渲染。
Worker 的 worker/configmap.yaml 与之类似,区别在于 coordinator=false、不启用 Discovery Server,仅通过 discovery.uri 指向 Coordinator。
这些 ConfigMap 随后在 coordinator/statefulset.yml 中以 subPath 方式分别挂载到 /home/presto/etc/config.properties、/home/presto/etc/log.properties、/home/presto/etc/node.properties 与 /home/presto/etc/jvm.config;catalog 目录则以只读方式挂载到 /home/presto/etc/catalog。数据持久化通过 volumeClaimTemplates(名称为 presto-data)实现,并设置了 pv.beta.kubernetes.io/gid 注解以配合容器内 runAsUser: 1000 的安全上下文。
使用 --set 或 values.yaml 定制 Chart
Chart 提供了两种定制方式。
方式一:命令行 --set 指定参数
helm install presto -n pinot-quickstart . \
--set coordinator.replicaCount=1 \
--set worker.replicaCount=4 \
--set worker.query.maxMemory=50GB \
--set coordinator.query.maxMemory=5GB
多个参数用 , 分隔。例如上面的命令将 Worker 扩容到 4 个副本,并调大查询内存上限。
方式二:提供自定义 values 文件
helm install --name presto -f values.yaml .
(Helm v3 等价写法为 helm install presto -n pinot-quickstart -f values.yaml .。)你可以复制仓库的 values.yaml 作为起点,修改其中的 replicaCount、query.*、jvm、persistence.*、resources 等字段后再安装。
常见的定制场景包括:
- 扩容 Worker:修改
worker.replicaCount(例如设为 4),Presto 会通过 Discovery Server 自动发现新节点,可通过select * from system.runtime.nodes验证; - 调整内存:修改
coordinator.query.maxMemory、worker.query.maxMemoryPerNode等参数,同时需要保证jvm中的-Xmx与查询内存上限匹配,避免查询因内存不足失败; - 配置资源配额:通过
coordinator.resources/worker.resources设置 requests 与 limits; - 关闭外部暴露:将
coordinator.external.enabled设为false,仅通过kubectl port-forward访问; - 更换存储类:设置
coordinator.persistence.storageClass/worker.persistence.storageClass(设为"-"表示使用空存储类,强制使用默认存储)。
直接使用裸清单部署(不使用 Helm)
如果你希望绕开 Helm,仓库还提供了两份可直接 kubectl apply 的清单:
- presto-coordinator.yaml:包含
presto-catalog/presto-etc两个 ConfigMap、presto-coordinatorStatefulSet(副本数 1,query.max-memory=5GB)以及 Headless Service; - presto-worker.yaml:包含
presto-worker-etcConfigMap、presto-workerStatefulSet(示例副本数 4,query.max-memory=50GB)以及 Headless Service。
两份清单均已指定 namespace: pinot-quickstart,镜像使用 apachepinot/pinot-presto:latest,数据卷大小分别为 5Gi 与 20Gi(GKE 环境可参考注释使用 pd-ssd 或 standard 存储类)。这种方式适合快速实验,但不具备 Helm 的参数化能力。
镜像说明:apachepinot/pinot-presto
本 Chart 使用的 apachepinot/pinot-presto 镜像由仓库内的 Dockerfile 构建:它以 openjdk:8 为基础,从 prestodb/presto 源码仓库检出并编译 Presto Server,随后将 presto-pinot 模块构建出的连接器插件复制到 /home/presto/plugin/pinot,并拷贝 etc 目录下的默认配置(入口为 ./bin/launcher,默认命令 run)。镜像内置的 catalog 配置位于 docker/images/pinot-presto/etc/catalog/pinot.properties,其中指定 pinot.controller-urls=pinot-controller:9000,与 Helm 默认值保持一致;另有面向快速启动场景的 pinot_quickstart.properties,将 Controller 地址指向 pinot-quickstart:9000。
常见问题与注意事项
- Connector 连不上 Pinot:确认 Presto 与 Pinot 部署在同一命名空间,且
pinot.controller-urls/pinot.controller-rest-service指向的 Controller 服务名正确(默认pinot-controller:9000)。catalog 文件中的属性名使用连字符形式(如pinot.controller-urls),不要与 README 表格中的驼峰写法混淆。 - 查询内存不足:默认
worker.query.maxMemoryPerNode=4GB,而 JVM 默认堆为-Xmx64G。若修改查询内存参数,请同步调整jvm配置,避免 Presto 因内存超限触发 OOM(默认 JVM 参数已开启-XX:+ExitOnOutOfMemoryError)。 - 端口转发失败:
launch-presto-ui.sh占用本机 8080、pinot-presto-cli.sh占用本机 18080,使用前请确认端口未被占用;脚本退出时会清理 port-forward 进程。 - Helm 版本差异:
helm install presto -n pinot-quickstart .是 Helm v3 语法;README 中helm install --name presto -f values.yaml .为 Helm v2 写法,请按实际环境选择。 - PVC 存储:Coordinator 与 Worker 默认都启用 PVC 持久化,存储类为空字符串时使用集群默认 StorageClass;在多节点集群中注意
ReadWriteOnce的访问模式限制。
总结
通过 helm/presto 这个 Chart,你可以在 Kubernetes 上快速获得一个开箱即用的「Presto + Apache Pinot」查询环境:Helm 负责把 Coordinator、Worker、ConfigMap、Service 与 PVC 全部编排好,Pinot Connector 由内置镜像自动加载,你只需 helm install 一条命令即可完成部署,随后通过 UI 或 CLI 直接以标准 Presto SQL 查询 Pinot 中的实时与离线数据。对于生产环境,则可以基于本文的参数表,结合集群实际的节点规格与内存预算,通过 values.yaml 精细化调整副本数、查询内存、JVM 参数与持久化配置。