Apache Pinot 集成 Presto 的 Docker 镜像:构建、配置与 Kubernetes 部署实战
Apache Pinot 集成 Presto 的 Docker 镜像:构建、配置与 Kubernetes 部署实战
Apache Pinot 是实时分布式 OLAP 数据存储,而 Presto 是开源分布式 SQL 查询引擎。本仓库在 docker/images/pinot-presto 目录下维护了一个专门为 Pinot 定制、内置 Pinot Connector 的 Presto Docker 镜像(apachepinot/pinot-presto),让用户可以直接用标准 SQL 通过 Presto 查询 Pinot 中的实时与离线数据。本文以该镜像的 README 为核心骨架,结合 Dockerfile、etc 配置目录、Helm Chart 及 CI 构建脚本等仓库源码,完整讲解镜像的构建、推送、配置、数据卷挂载与 Kubernetes 部署方案,读完后你可以独立构建自己的 Pinot-Presto 镜像并把它跑在 Docker 或 K8s 集群中。
镜像定位:为 Pinot 定制的 Presto 查询入口
Presto 本身是一个分布式 SQL 查询引擎,通过"连接器(Connector)"机制接入各种数据源。pinot-presto 镜像与通用 Presto 镜像的关键区别在于:它在构建阶段就把 Pinot 的 Presto 连接器(presto-pinot 插件)打进镜像,并预置了 Pinot 相关的 catalog 配置文件。从仓库的 Dockerfile 可以看到,构建时会执行:
mkdir -p ${PRESTO_HOME}/plugin/pinot && cp -r presto-pinot/target/presto-pinot-*/* ${PRESTO_HOME}/plugin/pinot/
即把 Presto 源码树中 presto-pinot 模块编译产物整体拷贝到 Presto 的 plugin/pinot 插件目录,镜像启动后 Presto 即可通过名为 pinot 的 catalog 直接访问 Pinot Controller。该构建项目在仓库内被明确描述为"specialized for Pinot"(README)。
如何构建镜像
方式一:使用构建脚本(推荐)
在 docker/images/pinot-presto 目录下执行:
./docker-build.sh
脚本 docker-build.sh 支持三个可选位置参数,含义如下:
| 参数 | 默认值 | 说明 |
|---|---|---|
Docker Tag |
pinot-presto:latest |
构建出的镜像名称与标签 |
Presto Branch |
master |
要检出并构建的 Presto 源码分支 |
Presto Git URL |
https://github.com/prestodb/presto.git |
拉取 Presto 源码的 Git 仓库地址(基于 https,非 git 协议),可指向自己的 fork |
例如构建自定义 fork 的分支并打自定义标签:
./docker-build.sh my-presto:snapshot-1 feature/my-presto-pinot https://github.com/your_own_fork/presto.git
脚本内部会调用 docker build --no-cache,并通过 --build-arg PRESTO_BRANCH 与 --build-arg PRESTO_GIT_URL 把分支与仓库地址传入镜像构建。
方式二:直接使用 docker build
不依赖脚本时,可以直接用 docker build 命令并显式传入构建参数:
docker build \
--build-arg PRESTO_GIT_URL=$PRESTO_GIT_URL \
--build-arg PRESTO_BRANCH=$PRESTO_BRANCH \
--tag apachepinot/pinot-presto:latest \
.
两个 --build-arg 均已在 Dockerfile 中声明并带默认值:PRESTO_BRANCH=master、PRESTO_GIT_URL="https://github.com/prestodb/presto.git"。构建开始时 Dockerfile 会打印当前使用的仓库与分支(Dockerfile),便于排查。
从源码看镜像的构建过程
阅读 Dockerfile 可以完整还原这个镜像的组装逻辑:
- 基础镜像:
FROM openjdk:8(L20),镜像维护者为dev@pinot.apache.org(L22)。 - 环境变量:
PRESTO_HOME=/home/presto、PRESTO_BUILD_DIR=/home/presto/build(L27-L28)。 - 构建依赖:安装
build-essential、vim、wget、curl、git、gcc、libpq-dev、python3系列工具等(L31-L37),用于后续编译与运行 launcher。 - 非 root 运行用户:创建 uid/gid 均为 999 的
presto用户,并以该用户身份执行后续构建(L39-L41)。 - 克隆并编译 Presto:
git clone指定仓库后git checkout指定分支,用 Maven Wrapper 执行./mvnw clean install -DskipTests(跳过测试以加速构建),并把presto-server的产物复制到${PRESTO_HOME}(L43-L49)。 - 安装 Pinot 插件:将
presto-pinot模块产物复制到${PRESTO_HOME}/plugin/pinot(L50)。 - 清理:删除构建目录与本地 Maven 仓库,控制镜像体积(L51)。
- 拷贝默认配置:
COPY etc ${PRESTO_HOME}/etc(L53)。 - 运行时声明:
EXPOSE 8080(HTTP 查询端口)、两个数据卷、WORKDIR ${PRESTO_HOME}、ENTRYPOINT <a href="https://link.gitcode.com/i/dc09854c987903bf00d39062e2772242" target="_blank">"./bin/launcher"]与CMD ["run"]([L55-L63)。也就是说,容器启动即通过 Presto 自带的 launcher 脚本以run模式拉起 Presto 服务。
值得一提的是,仓库还提供了 build-presto-docker-image.yml 与配套的 .presto_docker_image_build_and_push.sh、.presto_build_info_gen.sh 脚本,用于 CI 自动化构建与发布:支持手动触发(workflow_dispatch),可指定 Presto Git 地址、分支/commit、目标平台(默认 linux/amd64)、镜像名与多标签推送;镜像标签默认按 版本-commit-日期 生成并附 latest。
如何推送镜像
构建完成后即可推送到镜像仓库,例如 Docker Hub:
docker push apachepinot/pinot-presto:latest
如需发布到自己的仓库,先在本地打上目标仓库的 tag 再推送(与仓库中 docker/images/pinot/README.md 对 Pinot 镜像的发布方式一致):
docker tag pinot-presto:latest your-registry/pinot-presto:latest
docker push your-registry/pinot-presto:latest
镜像配置:etc 目录与核心参数
Presto 要求把配置文件放在 etc 目录下,本镜像在构建时已通过 COPY etc ${PRESTO_HOME}/etc 内置了一套开箱即用的默认配置(详见镜像内的 etc 目录)。部署时通常需要用自己的配置覆盖这些文件。下面逐文件说明各配置的用途与关键参数。
catalog 配置:接入 Pinot
catalog 目录下每个 .properties 文件对应一个 Presto catalog。镜像默认提供两个:
- pinot.properties(面向常规部署,服务名为
pinot-controller):
connector.name=pinot
pinot.controller-urls=pinot-controller:9000
pinot.controller-rest-service=pinot-controller:9000
- pinot_quickstart.properties(面向 quickstart 部署,服务名为
pinot-quickstart):
connector.name=pinot
pinot.controller-urls=pinot-quickstart:9000
pinot.controller-rest-service=pinot-quickstart:9000
各参数含义:
| 参数 | 说明 |
|---|---|
connector.name |
连接器类型,固定为 pinot,Presto 据此加载 Pinot 插件 |
pinot.controller-urls |
Pinot Controller 地址列表(逗号分隔可配多个),Presto 通过它与 Controller 交互获取表元数据、路由信息等 |
pinot.controller-rest-service |
Pinot Controller 的 REST 服务地址,用于额外 REST 调用 |
若使用 Helm Chart,还可通过 values.yaml 中的 catalogs 段配置更多连接器行为参数,包括:
catalogs:
pinot.properties: |-
connector.name=pinot
pinot.controller-urls=pinot-controller:9000
pinot.controller-rest-service=pinot-controller:9000
pinot.allow-multiple-aggregations=true
pinot.use-date-trunc=true
pinot.infer-date-type-in-schema=true
pinot.infer-timestamp-type-in-schema=true
pinot.use-streaming-for-segment-queries=false
这些 pinot.* 扩展参数分别控制:是否允许查询中包含多个聚合(默认 true)、是否允许使用 date_trunc 函数(默认 true)、是否把 Schema 中 Days Since Epoch 的时间字段推断为 DATE 类型(默认 true)、是否把 Milliseconds Since Epoch 的时间字段推断为 TIMESTAMP 类型(默认 true),以及分段(segment)查询是否走流式返回(默认 false)。
config.properties:节点角色与查询资源
镜像默认的 config.properties 以单节点协调者(coordinator) 模式运行:
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://presto-coordinator:8080
关键参数说明:
| 参数 | 默认值 | 说明 |
|---|---|---|
coordinator |
true |
本节点是否为协调者(接收查询、调度执行) |
node-scheduler.include-coordinator |
true |
是否把查询任务调度到协调者自身(单节点部署必须为 true) |
http-server.http.port |
8080 |
Presto HTTP 服务端口,也是 CLI/UI 连接的端口 |
query.max-memory |
5GB |
单个查询可使用的分布式内存上限 |
query.max-memory-per-node |
1GB |
单个查询在单个节点上的内存上限 |
query.max-total-memory-per-node |
2GB |
单节点上所有并发查询的总内存上限(含非用户内存) |
discovery-server.enabled |
true |
本节点是否启用发现服务(集群节点注册与发现) |
discovery.uri |
http://presto-coordinator:8080 |
发现服务的 URI,worker 节点通过它注册到协调者 |
若部署独立 worker 节点,则需设置 coordinator=false 并去掉 discovery-server.enabled,只保留 discovery.uri 指向协调者;参考 presto-worker.yaml 中的 worker 配置示例:
coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=4GB
query.max-total-memory-per-node=8GB
discovery.uri=http://presto-coordinator:8080
node.properties:节点身份与数据目录
node.properties 定义节点环境、ID 与数据目录:
node.environment=production
node.id=presto-coordinator
node.data-dir=/home/presto/data
node.environment:环境名,同一集群内所有节点必须一致;node.id:节点唯一 ID,Helm Chart 中默认留空、由 Presto 自动生成(见 values.yaml);node.data-dir:节点数据目录,默认指向镜像声明的数据卷/home/presto/data。
jvm.config 与 log.properties
jvm.config 控制 JVM 参数,默认开启服务端模式、16G 堆、G1 垃圾回收器,并在 OOM 时自动生成堆转储并退出:
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
log.properties 设置日志级别,默认 com.facebook.presto=INFO(Presto 根包日志级别为 INFO)。注意:Helm 参数表中 worker 的默认 JVM 配置为 -Xmx64G(values.yaml),与协调者的 -Xmx16G 不同,实际部署时应按节点规格调整堆大小。
数据卷(Volumes)
镜像通过 VOLUME <a href="https://link.gitcode.com/i/514135c359a7786278e1d92119822ca6" target="_blank">"${PRESTO_HOME}/etc", "${PRESTO_HOME}/data"]([Dockerfile)声明了两个数据卷,用于把配置与数据从容器外部挂载进来:
| 卷路径 | 内容 |
|---|---|
/home/presto/etc |
全部配置文件与插件(config.properties、node.properties、jvm.config、log.properties、catalog/*.properties 以及 plugin 目录) |
/home/presto/data |
节点数据目录,对应 node.properties 中的 node.data-dir |
在 Kubernetes 部署中,通常做法是:etc 卷用 ConfigMap 挂载(配置文件只读),data 卷用 PVC(PersistentVolumeClaim)持久化,详见下文。
Kubernetes 部署示例
原文档提到可参考 presto-coordinator.yaml 作为 k8s 部署示例。该文件在本仓库中的实际位置为 helm/presto/presto-coordinator.yaml(原文档指向的 kubernetes/examples/helm 路径已迁移到 helm 目录)。它给出了一套完整的单文件部署形态:ConfigMap(catalog + 各类配置)+ StatefulSet(协调者)+ headless Service,其中:
- ConfigMap
presto-catalog存放pinot.propertiescatalog(指向pinot-controller:9000); - ConfigMap
presto-etc存放config.properties、jvm.config、log.properties、node.properties; - StatefulSet 使用
apachepinot/pinot-presto:latest镜像,args: ["run"]启动,暴露 8080 端口; - 配置文件通过
subPath以只读方式逐个挂载到/home/presto/etc/下(presto-coordinator.yaml); - 数据目录
/home/presto/data使用volumeClaimTemplates动态创建 PVC(默认 5Gi,storageClass 默认default,GKE 可换pd-ssd/standard,见 L133-L145)。
worker 节点的完整示例见 presto-worker.yaml,默认 4 副本、coordinator=false、数据卷 20Gi。
使用 Helm 快速部署
更推荐的方式是直接使用仓库提供的 Presto Helm Chart(helm/presto)。前提条件:已安装 kubectl 与 helm 并连接好集群,且已有一套运行中的 Pinot 集群(例如通过 docker/images/pinot/docker-compose.yml 或 Pinot 官方 Helm 起的环境)。
在 helm/presto 目录执行:
helm install presto -n pinot-quickstart .
该命令默认会启动 1 个协调者和 1 个 worker。查看部署状态:
kubectl get all -n pinot-quickstart
如需自定义参数,有两种方式:
# 方式一:--set 指定
helm install presto -n pinot-quickstart . --set worker.replicaCount=4 --set coordinator.query.maxMemory=8GB
# 方式二:values 文件
helm install presto -n pinot-quickstart -f values.yaml .
Chart 中可配置的关键参数(完整清单见 helm/presto/README.md)包括:
| 参数 | 默认值 | 说明 |
|---|---|---|
image.repository / image.tag / image.pullPolicy |
apachepinot/pinot-presto / latest / IfNotPresent |
镜像仓库、标签与拉取策略 |
pinot.controllerUrls |
pinot-controller:9000 |
Pinot Controller 地址 |
pinot.allowMultipleAggregations |
true |
是否允许多个聚合 |
pinot.useDateTrunc |
true |
是否允许 date_trunc 函数 |
pinot.inferDateTypeInSchema |
true |
是否推断 Date 类型 |
pinot.inferTimestampTypeInSchema |
true |
是否推断 Timestamp 类型 |
coordinator.replicaCount |
1 |
协调者副本数 |
coordinator.query.maxMemory 等 |
4GB/1GB/2GB |
协调者查询内存上限 |
coordinator.jvm |
-server -Xmx16G ... |
协调者 JVM 参数 |
coordinator.persistence.enabled / size |
true / 4G |
是否使用 PVC 持久化数据 |
worker.replicaCount |
1 |
worker 副本数 |
worker.query.maxMemory 等 |
8GB/4GB/8GB |
worker 查询内存上限 |
worker.jvm |
-server -Xmx64G ... |
worker JVM 参数 |
worker.persistence.size |
10G |
worker 数据卷大小 |
模板实现上,coordinator/configmap.yaml 会遍历 catalogs 生成 catalog ConfigMap,并把 config.properties、jvm.config、log.properties、node.properties 组装进协调者 ConfigMap;coordinator/statefulset.yml 则把上述配置以 subPath 只读挂载到 /home/presto/etc 下。
打开 Presto UI
使用仓库提供的脚本做端口转发并在浏览器打开 Presto UI:
./launch-presto-ui.sh
脚本内部执行 kubectl port-forward service/presto-coordinator 8080:8080 -n pinot-quickstart 后打开 http://localhost:8080/(见 launch-presto-ui.sh)。
使用 Presto CLI 查询 Pinot
部署完成后,可用 pinot-presto-cli.sh 一键进入 CLI(自动下载 Presto CLI 0.228 可执行 jar、做端口转发并连接 --catalog pinot --schema default):
./pinot-presto-cli.sh
或者用 presto-cli.sh 传入自定义参数:
./presto-cli.sh --server localhost:8080 --catalog pinot --schema default
示例查询与验证
进入 CLI 后,可以依次执行以下查询验证 Pinot 集成是否工作正常(以下输出摘自 helm/presto/README.md 的实测记录):
- 列出所有 catalog:
presto:default> show catalogs;
Catalog
---------
pinot
system
(2 rows)
- 列出 Pinot 中的所有表:
presto:default> show tables;
Table
--------------
airlinestats
(1 row)
- 查看表结构(Presto 会把 Pinot Schema 映射为 SQL 类型,如
flightnum integer、origin varchar):
presto:default> DESCRIBE pinot.dontcare.airlinestats;
- 统计记录数:
presto:default> select count(*) as cnt from pinot.dontcare.airlinestats limit 10;
cnt
------
9745
(1 row)
- 验证 worker 节点是否已加入集群:
presto:default> select * from system.runtime.nodes;
node_id | http_uri | node_version | coordinator | state
--------------------------------------+----------------------+------------------------+-------------+--------
d7123f72-bdd4-417e-adc2-9cfed5bbb12c | http://10.1.0.165:8080 | 0.236-SNAPSHOT-dbf3a80 | true | active
fe9b8813-7bfc-4b4e-aa84-9d50c5e87c57 | http://10.1.0.166:8080 | 0.236-SNAPSHOT-dbf3a80 | false | active
(2 rows)
当输出中出现 coordinator=true 与 coordinator=false 两类 active 节点时,即表示协调者与 worker 均已正常注册,分布式查询可以分发到各节点执行。
部署注意事项
- Pinot 集群是前提:
pinot-presto镜像本身只提供 SQL 查询入口,数据仍存储在 Pinot 中,因此部署前必须先准备好可访问的 Pinot Controller(默认配置假设服务名为pinot-controller、端口9000)。若主机名不同,需同步修改 catalog 配置中的pinot.controller-urls与pinot.controller-rest-service。 - 镜像名与标签:仓库 CI 与 Helm 默认镜像名为
apachepinot/pinot-presto,标签为latest;自建镜像后请通过--set image.repository、--set image.tag指向自己的镜像。 - 内存规划:默认 JVM 配置(协调者
-Xmx16G、worker-Xmx64G)较大,需与实际节点规格匹配;同时query.max-memory系列参数应小于 JVM 堆大小,避免查询内存不足。 - 配置文件覆盖:容器内
/home/presto/etc是声明为 VOLUME 的配置卷,K8s 部署时应以 ConfigMap 只读挂载覆盖默认配置,而不是直接修改镜像内文件。
小结
Apache Pinot 仓库内置的 pinot-presto Docker 镜像,把"Presto 引擎 + Pinot 连接器 + 预置 catalog"打包为一个开箱即用的查询入口:docker-build.sh 或带 --build-arg 的 docker build 可构建自定义版本,docker push 可发布到任意镜像仓库;/home/presto/etc 与 /home/presto/data 两个数据卷分别承载配置与数据;在 Kubernetes 上既可以使用 presto-coordinator.yaml 与 presto-worker.yaml 手工部署,也可以借助 helm/presto Chart 一键拉起协调者与 worker 集群,最终通过 Presto CLI 或 UI 用标准 SQL 直接查询 Pinot 中的实时与离线表。