Debezium在Kubernetes部署:Strimzi Operator变更数据捕获完整指南与OpenShift最佳实践
Debezium在Kubernetes部署:Strimzi Operator变更数据捕获完整指南与OpenShift最佳实践
Debezium 是业界领先的变更数据捕获(Change Data Capture,CDC)平台,能把 MySQL、PostgreSQL、Oracle 等数据库的实时变更流式传输到 Kafka 等下游系统。本文基于官方文档,带你用 Strimzi Operator 在 Kubernetes / OpenShift 上完整部署 Debezium,掌握密钥管理、Connector 构建、部署验证等 OpenShift 最佳实践,全程只需几条 kubectl / oc 命令。
一、为什么选择 Kubernetes + Strimzi Operator?
在传统部署中,Kafka、Kafka Connect 和数据库连接器的搭建是繁琐且易错的手工活。在容器化平台上:
- Strimzi Operator 用"自定义资源(CRD)"声明式地管理 Kafka 集群与 Kafka Connect,一条
Kafka资源就能拉起完整集群; - Debezium 以插件形式注入 Kafka Connect 镜像,由 Operator 统一构建、推送、运维;
- Kubernetes Secret + RBAC 让数据库凭据不落明文,符合生产安全规范;
- 本地测试可用 minikube,生产可用 OpenShift,同一套 YAML 通吃,迁移成本极低。
上图展示了 Debezium 的经典部署形态:源端数据库通过 Debezium 源连接器(运行在 Kafka Connect 上)把变更事件写入 Apache Kafka 分区,下游再用 Sink 连接器消费,形成完整的 CDC 数据管道。
二、部署前准备:命名空间与 Strimzi Operator 安装
1. 创建专用命名空间
为将 Debezium 容器与其他工作负载隔离,先创建一个独立命名空间(官方示例使用 debezium-example):
kubectl create ns debezium-example
2. 安装 Strimzi Operator(最快方式)
Kubernetes 集群上最简单的方式是通过 Operator Lifecycle Manager(OLM):
kubectl create -f https://operatorhub.io/install/strimzi-kafka-operator.yaml
在 OpenShift 上更推荐图形界面一键安装:打开 OpenShift 控制台 → Operators → OperatorHub,搜索 strimzi 并点击安装:
命令行方式(OpenShift)如下,本质是创建一个 Subscription 自定义资源:
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
name: my-strimzi-kafka-operator
namespace: openshift-operators
spec:
channel: stable
name: strimzi-kafka-operator
source: operatorhubio-catalog
sourceNamespace: olm
三、最佳实践①:用 Secret + RBAC 管理数据库凭据
永远不要在 Connector 配置里写明文密码。 官方文档的标准做法分三步:
- 创建 Secret(
username: ZGViZXppdW0=是 base64 编码的debezium):
apiVersion: v1
kind: Secret
metadata:
name: debezium-secret
namespace: debezium-example
type: Opaque
data:
username: ZGViZXppdW0=
password: ZGJ6
- 创建 Role,只授予对该 Secret 的
get权限(最小权限原则); - 创建 RoleBinding,把角色绑定到 Kafka Connect 的服务账号
debezium-connect-cluster-connect(账号名规则为$KafkaConnectName-connect,Strimzi 在部署 Kafka Connect 时会自动创建它)。
之后 Connector 配置里就能用占位符 ${secrets:debezium-example/debezium-secret:username} 引用凭据,全程零明文。
四、一键部署 Kafka 集群与 Kafka Connect
部署 Kafka 集群
提交一个 Kafka 自定义资源(配合 KafkaNodePool,开启 KRaft 模式、3 副本),核心配置一目了然:
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
name: debezium-cluster
annotations:
strimzi.io/node-pools: enabled
strimzi.io/kraft: enabled
spec:
kafka:
version: "3.9.0"
config:
offsets.topic.replication.factor: 3
default.replication.factor: 3
提交后等待就绪即可:
kubectl wait kafka/debezium-cluster --for=condition=Ready --timeout=300s -n debezium-example
构建并部署 Kafka Connect(含 Debezium 插件)
Strimzi 的一大杀手锏:在 KafkaConnect 资源的 build 段声明插件地址,Operator 会自动下载 Debezium MySQL 连接器插件、构建镜像并推送到仓库,无需手工打镜像:
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
name: debezium-connect-cluster
annotations:
strimzi.io/use-connector-resources: "true"
spec:
version: 3.1.0
replicas: 1
bootstrapServers: debezium-cluster-kafka-bootstrap:9092
config:
config.providers: secrets
config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider
build:
output:
type: docker
image: <你的镜像仓库>/debezium-connect-mysql:latest
plugins:
- name: debezium-mysql-connector
artifacts:
- type: tgz
url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/3.x.x/debezium-connector-mysql-3.x.x-plugin.tar.gz
💡 最佳实践:
KubernetesSecretConfigProvider让 Connect 具备读取 Secret 的能力;为下载产物配置sha512sum校验和,可防止镜像被污染。若已有现成镜像,直接写image字段跳过构建即可。
五、部署数据源与 Debezium 连接器
部署 MySQL 数据源
一个 Deployment + 一个 Headless Service(clusterIP: None)即可,使用官方示例镜像 quay.io/debezium/example-mysql。
创建 Debezium 连接器
只需提交一个 KafkaConnector 自定义资源——声明式、可版本化、可回滚,这就是 Operator 模式的全部魅力:
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
metadata:
name: debezium-connector-mysql
labels:
strimzi.io/cluster: debezium-connect-cluster
spec:
class: io.debezium.connector.mysql.MySqlConnector
tasksMax: 1
config:
tasks.max: 1
database.hostname: mysql
database.port: 3306
database.user: ${secrets:debezium-example/debezium-secret:username}
database.password: ${secrets:debezium-example/debezium-secret:password}
database.server.id: 184054
topic.prefix: mysql
database.include.list: inventory
在 OpenShift 控制台中,你会看到 debezium-cluster-kafka、debezium-connect-cluster、mysql 等 Pod 全部进入 Running 状态,Kafka Connect 构建任务(build-1)显示 Completed:
六、验证部署:亲眼看到变更事件
- 订阅 Kafka 主题
mysql.inventory.customers(用quay.io/debezium/tooling镜像中的kcat工具); - 连接 MySQL,执行
update customers set first_name="Sally Marie" where id=1001;; - 立刻在主题中看到包含
before/after的 JSON 变更事件,"op": "u"表示更新——变更数据捕获管道跑通了! 🎉
七、进阶路线:Debezium Operator 与 Debezium Server
如果你的目标不是 Kafka Connect,而是托管 Debezium Server 实例(支持多种 Source/Sink 直连管道),可以使用官方 Debezium Operator:通过 Helm 一键安装 Operator 后,只需声明一个 DebeziumServer 自定义资源,Operator 就会自动拉起对应的 CDC 管道,实现自动扩缩容、升级与健康检查:
apiVersion: debezium.io/v1alpha1
kind: DebeziumServer
metadata:
name: my-debezium-server
spec:
image: <debezium-server镜像>
version: <版本>
八、OpenShift 最佳实践清单 ✅
| 实践 | 说明 |
|---|---|
| 📦 独立命名空间/项目 | debezium-example 隔离工作负载,便于权限与配额管理 |
| 🔐 Secret + RBAC 最小授权 | Role 仅授予单一 Secret 的 get 权限 |
| 🏗️ 声明式 CRD 部署 | Kafka / KafkaConnect / KafkaConnector 全部 Git 化管理 |
| 🐳 利用内置镜像仓库 | OpenShift 自带 registry,build.output.image 直接推送到集群内仓库 |
| 🔖 校验和校验 | 为插件产物配置 sha512sum,保障供应链安全 |
| 👀 就绪等待 | kubectl wait kafka/... --for=condition=Ready 代替手动轮询 |
九、延伸学习资料 📚
- Kubernetes 部署完整文档:documentation/modules/ROOT/pages/operations/kubernetes.adoc
- OpenShift 部署完整文档:documentation/modules/ROOT/pages/operations/openshift.adoc
- Debezium Operator 与 Helm 部署:documentation/modules/ROOT/pages/operations/debezium-operator.adoc
- Debezium Server 运维指南:documentation/modules/ROOT/pages/operations/debezium-server.adoc
- 平台整体架构说明:documentation/modules/ROOT/pages/architecture.adoc
- MySQL 连接器源码:debezium-connector-mysql/
跟着本文的六步走,你就拥有了一个生产级可用的 Debezium 变更数据捕获管道——数据库一动,事件即达。🚀



