Apache Pinot 集成 Presto 的 Docker 镜像:构建、配置与 Kubernetes 部署实战

原创2026-10-14 12:15:421,664 阅读
文章标签:OLAP数据库大数据流处理

Apache Pinot 集成 Presto 的 Docker 镜像:构建、配置与 Kubernetes 部署实战

Apache Pinot 是实时分布式 OLAP 数据存储,而 Presto 是开源分布式 SQL 查询引擎。本仓库在 docker/images/pinot-presto 目录下维护了一个专门为 Pinot 定制、内置 Pinot Connector 的 Presto Docker 镜像(apachepinot/pinot-presto),让用户可以直接用标准 SQL 通过 Presto 查询 Pinot 中的实时与离线数据。本文以该镜像的 README 为核心骨架,结合 Dockerfile、etc 配置目录、Helm Chart 及 CI 构建脚本等仓库源码,完整讲解镜像的构建、推送、配置、数据卷挂载与 Kubernetes 部署方案,读完后你可以独立构建自己的 Pinot-Presto 镜像并把它跑在 Docker 或 K8s 集群中。

镜像定位:为 Pinot 定制的 Presto 查询入口

Presto 本身是一个分布式 SQL 查询引擎,通过"连接器(Connector)"机制接入各种数据源。pinot-presto 镜像与通用 Presto 镜像的关键区别在于:它在构建阶段就把 Pinot 的 Presto 连接器(presto-pinot 插件)打进镜像,并预置了 Pinot 相关的 catalog 配置文件。从仓库的 Dockerfile 可以看到,构建时会执行:

mkdir -p ${PRESTO_HOME}/plugin/pinot && cp -r presto-pinot/target/presto-pinot-*/* ${PRESTO_HOME}/plugin/pinot/

即把 Presto 源码树中 presto-pinot 模块编译产物整体拷贝到 Presto 的 plugin/pinot 插件目录,镜像启动后 Presto 即可通过名为 pinot 的 catalog 直接访问 Pinot Controller。该构建项目在仓库内被明确描述为"specialized for Pinot"(README)。

如何构建镜像

方式一:使用构建脚本(推荐)

在 docker/images/pinot-presto 目录下执行:

./docker-build.sh

脚本 docker-build.sh 支持三个可选位置参数,含义如下:

参数 默认值 说明
Docker Tag pinot-presto:latest 构建出的镜像名称与标签
Presto Branch master 要检出并构建的 Presto 源码分支
Presto Git URL https://github.com/prestodb/presto.git 拉取 Presto 源码的 Git 仓库地址(基于 https,非 git 协议),可指向自己的 fork

例如构建自定义 fork 的分支并打自定义标签:

./docker-build.sh my-presto:snapshot-1 feature/my-presto-pinot https://github.com/your_own_fork/presto.git

脚本内部会调用 docker build --no-cache,并通过 --build-arg PRESTO_BRANCH 与 --build-arg PRESTO_GIT_URL 把分支与仓库地址传入镜像构建。

方式二:直接使用 docker build

不依赖脚本时,可以直接用 docker build 命令并显式传入构建参数:

docker build \
	--build-arg PRESTO_GIT_URL=$PRESTO_GIT_URL \
	--build-arg PRESTO_BRANCH=$PRESTO_BRANCH \
	--tag apachepinot/pinot-presto:latest \
	.

两个 --build-arg 均已在 Dockerfile 中声明并带默认值:PRESTO_BRANCH=master、PRESTO_GIT_URL="https://github.com/prestodb/presto.git"。构建开始时 Dockerfile 会打印当前使用的仓库与分支(Dockerfile),便于排查。

从源码看镜像的构建过程

阅读 Dockerfile 可以完整还原这个镜像的组装逻辑:

  1. 基础镜像:FROM openjdk:8(L20),镜像维护者为 dev@pinot.apache.org(L22)。
  2. 环境变量:PRESTO_HOME=/home/presto、PRESTO_BUILD_DIR=/home/presto/build(L27-L28)。
  3. 构建依赖:安装 build-essential、vim、wget、curl、git、gcc、libpq-dev、python3 系列工具等(L31-L37),用于后续编译与运行 launcher。
  4. 非 root 运行用户:创建 uid/gid 均为 999 的 presto 用户,并以该用户身份执行后续构建(L39-L41)。
  5. 克隆并编译 Presto:git clone 指定仓库后 git checkout 指定分支,用 Maven Wrapper 执行 ./mvnw clean install -DskipTests(跳过测试以加速构建),并把 presto-server 的产物复制到 ${PRESTO_HOME}(L43-L49)。
  6. 安装 Pinot 插件:将 presto-pinot 模块产物复制到 ${PRESTO_HOME}/plugin/pinot(L50)。
  7. 清理:删除构建目录与本地 Maven 仓库,控制镜像体积(L51)。
  8. 拷贝默认配置:COPY etc ${PRESTO_HOME}/etc(L53)。
  9. 运行时声明:EXPOSE 8080(HTTP 查询端口)、两个数据卷、WORKDIR ${PRESTO_HOME}、ENTRYPOINT <a href="https://link.gitcode.com/i/dc09854c987903bf00d39062e2772242" target="_blank">"./bin/launcher"] 与 CMD ["run"]([L55-L63)。也就是说,容器启动即通过 Presto 自带的 launcher 脚本以 run 模式拉起 Presto 服务。

值得一提的是,仓库还提供了 build-presto-docker-image.yml 与配套的 .presto_docker_image_build_and_push.sh、.presto_build_info_gen.sh 脚本,用于 CI 自动化构建与发布:支持手动触发(workflow_dispatch),可指定 Presto Git 地址、分支/commit、目标平台(默认 linux/amd64)、镜像名与多标签推送;镜像标签默认按 版本-commit-日期 生成并附 latest。

如何推送镜像

构建完成后即可推送到镜像仓库,例如 Docker Hub:

docker push apachepinot/pinot-presto:latest

如需发布到自己的仓库,先在本地打上目标仓库的 tag 再推送(与仓库中 docker/images/pinot/README.md 对 Pinot 镜像的发布方式一致):

docker tag pinot-presto:latest your-registry/pinot-presto:latest
docker push your-registry/pinot-presto:latest

镜像配置:etc 目录与核心参数

Presto 要求把配置文件放在 etc 目录下,本镜像在构建时已通过 COPY etc ${PRESTO_HOME}/etc 内置了一套开箱即用的默认配置(详见镜像内的 etc 目录)。部署时通常需要用自己的配置覆盖这些文件。下面逐文件说明各配置的用途与关键参数。

catalog 配置:接入 Pinot

catalog 目录下每个 .properties 文件对应一个 Presto catalog。镜像默认提供两个:

connector.name=pinot
pinot.controller-urls=pinot-controller:9000
pinot.controller-rest-service=pinot-controller:9000
connector.name=pinot
pinot.controller-urls=pinot-quickstart:9000
pinot.controller-rest-service=pinot-quickstart:9000

各参数含义:

参数 说明
connector.name 连接器类型,固定为 pinot,Presto 据此加载 Pinot 插件
pinot.controller-urls Pinot Controller 地址列表(逗号分隔可配多个),Presto 通过它与 Controller 交互获取表元数据、路由信息等
pinot.controller-rest-service Pinot Controller 的 REST 服务地址,用于额外 REST 调用

若使用 Helm Chart,还可通过 values.yaml 中的 catalogs 段配置更多连接器行为参数,包括:

catalogs:
  pinot.properties: |-
    connector.name=pinot
    pinot.controller-urls=pinot-controller:9000
    pinot.controller-rest-service=pinot-controller:9000
    pinot.allow-multiple-aggregations=true
    pinot.use-date-trunc=true
    pinot.infer-date-type-in-schema=true
    pinot.infer-timestamp-type-in-schema=true
    pinot.use-streaming-for-segment-queries=false

这些 pinot.* 扩展参数分别控制:是否允许查询中包含多个聚合(默认 true)、是否允许使用 date_trunc 函数(默认 true)、是否把 Schema 中 Days Since Epoch 的时间字段推断为 DATE 类型(默认 true)、是否把 Milliseconds Since Epoch 的时间字段推断为 TIMESTAMP 类型(默认 true),以及分段(segment)查询是否走流式返回(默认 false)。

config.properties:节点角色与查询资源

镜像默认的 config.properties 以单节点协调者(coordinator) 模式运行:

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://presto-coordinator:8080

关键参数说明:

参数 默认值 说明
coordinator true 本节点是否为协调者(接收查询、调度执行)
node-scheduler.include-coordinator true 是否把查询任务调度到协调者自身(单节点部署必须为 true)
http-server.http.port 8080 Presto HTTP 服务端口,也是 CLI/UI 连接的端口
query.max-memory 5GB 单个查询可使用的分布式内存上限
query.max-memory-per-node 1GB 单个查询在单个节点上的内存上限
query.max-total-memory-per-node 2GB 单节点上所有并发查询的总内存上限(含非用户内存)
discovery-server.enabled true 本节点是否启用发现服务(集群节点注册与发现)
discovery.uri http://presto-coordinator:8080 发现服务的 URI,worker 节点通过它注册到协调者

若部署独立 worker 节点,则需设置 coordinator=false 并去掉 discovery-server.enabled,只保留 discovery.uri 指向协调者;参考 presto-worker.yaml 中的 worker 配置示例:

coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=4GB
query.max-total-memory-per-node=8GB
discovery.uri=http://presto-coordinator:8080

node.properties:节点身份与数据目录

node.properties 定义节点环境、ID 与数据目录:

node.environment=production
node.id=presto-coordinator
node.data-dir=/home/presto/data
  • node.environment:环境名,同一集群内所有节点必须一致;
  • node.id:节点唯一 ID,Helm Chart 中默认留空、由 Presto 自动生成(见 values.yaml);
  • node.data-dir:节点数据目录,默认指向镜像声明的数据卷 /home/presto/data。

jvm.config 与 log.properties

jvm.config 控制 JVM 参数,默认开启服务端模式、16G 堆、G1 垃圾回收器,并在 OOM 时自动生成堆转储并退出:

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

log.properties 设置日志级别,默认 com.facebook.presto=INFO(Presto 根包日志级别为 INFO)。注意:Helm 参数表中 worker 的默认 JVM 配置为 -Xmx64G(values.yaml),与协调者的 -Xmx16G 不同,实际部署时应按节点规格调整堆大小。

数据卷(Volumes)

镜像通过 VOLUME <a href="https://link.gitcode.com/i/514135c359a7786278e1d92119822ca6" target="_blank">"${PRESTO_HOME}/etc", "${PRESTO_HOME}/data"]([Dockerfile)声明了两个数据卷,用于把配置与数据从容器外部挂载进来:

卷路径 内容
/home/presto/etc 全部配置文件与插件(config.properties、node.properties、jvm.config、log.properties、catalog/*.properties 以及 plugin 目录)
/home/presto/data 节点数据目录,对应 node.properties 中的 node.data-dir

在 Kubernetes 部署中,通常做法是:etc 卷用 ConfigMap 挂载(配置文件只读),data 卷用 PVC(PersistentVolumeClaim)持久化,详见下文。

Kubernetes 部署示例

原文档提到可参考 presto-coordinator.yaml 作为 k8s 部署示例。该文件在本仓库中的实际位置为 helm/presto/presto-coordinator.yaml(原文档指向的 kubernetes/examples/helm 路径已迁移到 helm 目录)。它给出了一套完整的单文件部署形态:ConfigMap(catalog + 各类配置)+ StatefulSet(协调者)+ headless Service,其中:

  • ConfigMap presto-catalog 存放 pinot.properties catalog(指向 pinot-controller:9000);
  • ConfigMap presto-etc 存放 config.properties、jvm.config、log.properties、node.properties;
  • StatefulSet 使用 apachepinot/pinot-presto:latest 镜像,args: ["run"] 启动,暴露 8080 端口;
  • 配置文件通过 subPath 以只读方式逐个挂载到 /home/presto/etc/ 下(presto-coordinator.yaml);
  • 数据目录 /home/presto/data 使用 volumeClaimTemplates 动态创建 PVC(默认 5Gi,storageClass 默认 default,GKE 可换 pd-ssd/standard,见 L133-L145)。

worker 节点的完整示例见 presto-worker.yaml,默认 4 副本、coordinator=false、数据卷 20Gi。

使用 Helm 快速部署

更推荐的方式是直接使用仓库提供的 Presto Helm Chart(helm/presto)。前提条件:已安装 kubectl 与 helm 并连接好集群,且已有一套运行中的 Pinot 集群(例如通过 docker/images/pinot/docker-compose.yml 或 Pinot 官方 Helm 起的环境)。

在 helm/presto 目录执行:

helm install presto -n pinot-quickstart .

该命令默认会启动 1 个协调者和 1 个 worker。查看部署状态:

kubectl get all -n pinot-quickstart

如需自定义参数,有两种方式:

# 方式一:--set 指定
helm install presto -n pinot-quickstart . --set worker.replicaCount=4 --set coordinator.query.maxMemory=8GB

# 方式二:values 文件
helm install presto -n pinot-quickstart -f values.yaml .

Chart 中可配置的关键参数(完整清单见 helm/presto/README.md)包括:

参数 默认值 说明
image.repository / image.tag / image.pullPolicy apachepinot/pinot-presto / latest / IfNotPresent 镜像仓库、标签与拉取策略
pinot.controllerUrls pinot-controller:9000 Pinot Controller 地址
pinot.allowMultipleAggregations true 是否允许多个聚合
pinot.useDateTrunc true 是否允许 date_trunc 函数
pinot.inferDateTypeInSchema true 是否推断 Date 类型
pinot.inferTimestampTypeInSchema true 是否推断 Timestamp 类型
coordinator.replicaCount 1 协调者副本数
coordinator.query.maxMemory 等 4GB/1GB/2GB 协调者查询内存上限
coordinator.jvm -server -Xmx16G ... 协调者 JVM 参数
coordinator.persistence.enabled / size true / 4G 是否使用 PVC 持久化数据
worker.replicaCount 1 worker 副本数
worker.query.maxMemory 等 8GB/4GB/8GB worker 查询内存上限
worker.jvm -server -Xmx64G ... worker JVM 参数
worker.persistence.size 10G worker 数据卷大小

模板实现上,coordinator/configmap.yaml 会遍历 catalogs 生成 catalog ConfigMap,并把 config.properties、jvm.config、log.properties、node.properties 组装进协调者 ConfigMap;coordinator/statefulset.yml 则把上述配置以 subPath 只读挂载到 /home/presto/etc 下。

打开 Presto UI

使用仓库提供的脚本做端口转发并在浏览器打开 Presto UI:

./launch-presto-ui.sh

脚本内部执行 kubectl port-forward service/presto-coordinator 8080:8080 -n pinot-quickstart 后打开 http://localhost:8080/(见 launch-presto-ui.sh)。

使用 Presto CLI 查询 Pinot

部署完成后,可用 pinot-presto-cli.sh 一键进入 CLI(自动下载 Presto CLI 0.228 可执行 jar、做端口转发并连接 --catalog pinot --schema default):

./pinot-presto-cli.sh

或者用 presto-cli.sh 传入自定义参数:

./presto-cli.sh --server localhost:8080 --catalog pinot --schema default

示例查询与验证

进入 CLI 后,可以依次执行以下查询验证 Pinot 集成是否工作正常(以下输出摘自 helm/presto/README.md 的实测记录):

  • 列出所有 catalog:
presto:default> show catalogs;
 Catalog
---------
 pinot
 system
(2 rows)
  • 列出 Pinot 中的所有表:
presto:default> show tables;
    Table
--------------
 airlinestats
(1 row)
  • 查看表结构(Presto 会把 Pinot Schema 映射为 SQL 类型,如 flightnum integer、origin varchar):
presto:default> DESCRIBE pinot.dontcare.airlinestats;
  • 统计记录数:
presto:default> select count(*) as cnt from pinot.dontcare.airlinestats limit 10;
 cnt
------
 9745
(1 row)
  • 验证 worker 节点是否已加入集群:
presto:default> select * from system.runtime.nodes;
               node_id                |        http_uri      |      node_version      | coordinator | state
--------------------------------------+----------------------+------------------------+-------------+--------
 d7123f72-bdd4-417e-adc2-9cfed5bbb12c | http://10.1.0.165:8080 | 0.236-SNAPSHOT-dbf3a80 | true        | active
 fe9b8813-7bfc-4b4e-aa84-9d50c5e87c57 | http://10.1.0.166:8080 | 0.236-SNAPSHOT-dbf3a80 | false       | active
(2 rows)

当输出中出现 coordinator=true 与 coordinator=false 两类 active 节点时,即表示协调者与 worker 均已正常注册,分布式查询可以分发到各节点执行。

部署注意事项

  • Pinot 集群是前提:pinot-presto 镜像本身只提供 SQL 查询入口,数据仍存储在 Pinot 中,因此部署前必须先准备好可访问的 Pinot Controller(默认配置假设服务名为 pinot-controller、端口 9000)。若主机名不同,需同步修改 catalog 配置中的 pinot.controller-urls 与 pinot.controller-rest-service。
  • 镜像名与标签:仓库 CI 与 Helm 默认镜像名为 apachepinot/pinot-presto,标签为 latest;自建镜像后请通过 --set image.repository、--set image.tag 指向自己的镜像。
  • 内存规划:默认 JVM 配置(协调者 -Xmx16G、worker -Xmx64G)较大,需与实际节点规格匹配;同时 query.max-memory 系列参数应小于 JVM 堆大小,避免查询内存不足。
  • 配置文件覆盖:容器内 /home/presto/etc 是声明为 VOLUME 的配置卷,K8s 部署时应以 ConfigMap 只读挂载覆盖默认配置,而不是直接修改镜像内文件。

小结

Apache Pinot 仓库内置的 pinot-presto Docker 镜像,把"Presto 引擎 + Pinot 连接器 + 预置 catalog"打包为一个开箱即用的查询入口:docker-build.sh 或带 --build-arg 的 docker build 可构建自定义版本,docker push 可发布到任意镜像仓库;/home/presto/etc 与 /home/presto/data 两个数据卷分别承载配置与数据;在 Kubernetes 上既可以使用 presto-coordinator.yaml 与 presto-worker.yaml 手工部署,也可以借助 helm/presto Chart 一键拉起协调者与 worker 集群,最终通过 Presto CLI 或 UI 用标准 SQL 直接查询 Pinot 中的实时与离线表。

登录后查看全文
pinot