Debezium在Kubernetes部署:Strimzi Operator变更数据捕获完整指南与OpenShift最佳实践

原创2026-09-21 12:13:301,454 阅读
文章标签:变更数据捕获数据集成数据同步流处理消息队列数据库后端微服务Embedding

Debezium在Kubernetes部署:Strimzi Operator变更数据捕获完整指南与OpenShift最佳实践

Debezium 是业界领先的变更数据捕获(Change Data Capture,CDC)平台,能把 MySQL、PostgreSQL、Oracle 等数据库的实时变更流式传输到 Kafka 等下游系统。本文基于官方文档,带你用 Strimzi Operator 在 Kubernetes / OpenShift 上完整部署 Debezium,掌握密钥管理、Connector 构建、部署验证等 OpenShift 最佳实践,全程只需几条 kubectl / oc 命令。

一、为什么选择 Kubernetes + Strimzi Operator?

在传统部署中,Kafka、Kafka Connect 和数据库连接器的搭建是繁琐且易错的手工活。在容器化平台上:

  • Strimzi Operator 用"自定义资源(CRD)"声明式地管理 Kafka 集群与 Kafka Connect,一条 Kafka 资源就能拉起完整集群;
  • Debezium 以插件形式注入 Kafka Connect 镜像,由 Operator 统一构建、推送、运维;
  • Kubernetes Secret + RBAC 让数据库凭据不落明文,符合生产安全规范;
  • 本地测试可用 minikube,生产可用 OpenShift,同一套 YAML 通吃,迁移成本极低。

Debezium变更数据捕获架构:MySQL与PostgreSQL经Debezium Connect连接器写入Apache Kafka,再经Sink连接器分发至Elasticsearch与数据仓库

上图展示了 Debezium 的经典部署形态:源端数据库通过 Debezium 源连接器(运行在 Kafka Connect 上)把变更事件写入 Apache Kafka 分区,下游再用 Sink 连接器消费,形成完整的 CDC 数据管道。

二、部署前准备:命名空间与 Strimzi Operator 安装

1. 创建专用命名空间

为将 Debezium 容器与其他工作负载隔离,先创建一个独立命名空间(官方示例使用 debezium-example):

kubectl create ns debezium-example

2. 安装 Strimzi Operator(最快方式)

Kubernetes 集群上最简单的方式是通过 Operator Lifecycle Manager(OLM):

kubectl create -f https://operatorhub.io/install/strimzi-kafka-operator.yaml

在 OpenShift 上更推荐图形界面一键安装:打开 OpenShift 控制台 → Operators → OperatorHub,搜索 strimzi 并点击安装:

OpenShift OperatorHub中搜索并安装Strimzi Kafka Operator的界面,用于在Kubernetes上管理Kafka与Debezium

命令行方式(OpenShift)如下,本质是创建一个 Subscription 自定义资源:

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: my-strimzi-kafka-operator
  namespace: openshift-operators
spec:
  channel: stable
  name: strimzi-kafka-operator
  source: operatorhubio-catalog
  sourceNamespace: olm

三、最佳实践①:用 Secret + RBAC 管理数据库凭据

永远不要在 Connector 配置里写明文密码。 官方文档的标准做法分三步:

  1. 创建 Secret(username: ZGViZXppdW0= 是 base64 编码的 debezium):
apiVersion: v1
kind: Secret
metadata:
  name: debezium-secret
  namespace: debezium-example
type: Opaque
data:
  username: ZGViZXppdW0=
  password: ZGJ6
  1. 创建 Role,只授予对该 Secret 的 get 权限(最小权限原则);
  2. 创建 RoleBinding,把角色绑定到 Kafka Connect 的服务账号 debezium-connect-cluster-connect(账号名规则为 $KafkaConnectName-connect,Strimzi 在部署 Kafka Connect 时会自动创建它)。

之后 Connector 配置里就能用占位符 ${secrets:debezium-example/debezium-secret:username} 引用凭据,全程零明文。

四、一键部署 Kafka 集群与 Kafka Connect

部署 Kafka 集群

提交一个 Kafka 自定义资源(配合 KafkaNodePool,开启 KRaft 模式、3 副本),核心配置一目了然:

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: debezium-cluster
  annotations:
    strimzi.io/node-pools: enabled
    strimzi.io/kraft: enabled
spec:
  kafka:
    version: "3.9.0"
    config:
      offsets.topic.replication.factor: 3
      default.replication.factor: 3

提交后等待就绪即可:

kubectl wait kafka/debezium-cluster --for=condition=Ready --timeout=300s -n debezium-example

构建并部署 Kafka Connect(含 Debezium 插件)

Strimzi 的一大杀手锏:在 KafkaConnect 资源的 build 段声明插件地址,Operator 会自动下载 Debezium MySQL 连接器插件、构建镜像并推送到仓库,无需手工打镜像:

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: debezium-connect-cluster
  annotations:
    strimzi.io/use-connector-resources: "true"
spec:
  version: 3.1.0
  replicas: 1
  bootstrapServers: debezium-cluster-kafka-bootstrap:9092
  config:
    config.providers: secrets
    config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider
  build:
    output:
      type: docker
      image: <你的镜像仓库>/debezium-connect-mysql:latest
    plugins:
      - name: debezium-mysql-connector
        artifacts:
          - type: tgz
            url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/3.x.x/debezium-connector-mysql-3.x.x-plugin.tar.gz

💡 最佳实践:KubernetesSecretConfigProvider 让 Connect 具备读取 Secret 的能力;为下载产物配置 sha512sum 校验和,可防止镜像被污染。若已有现成镜像,直接写 image 字段跳过构建即可。

五、部署数据源与 Debezium 连接器

部署 MySQL 数据源

一个 Deployment + 一个 Headless Service(clusterIP: None)即可,使用官方示例镜像 quay.io/debezium/example-mysql。

创建 Debezium 连接器

只需提交一个 KafkaConnector 自定义资源——声明式、可版本化、可回滚,这就是 Operator 模式的全部魅力:

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
metadata:
  name: debezium-connector-mysql
  labels:
    strimzi.io/cluster: debezium-connect-cluster
spec:
  class: io.debezium.connector.mysql.MySqlConnector
  tasksMax: 1
  config:
    tasks.max: 1
    database.hostname: mysql
    database.port: 3306
    database.user: ${secrets:debezium-example/debezium-secret:username}
    database.password: ${secrets:debezium-example/debezium-secret:password}
    database.server.id: 184054
    topic.prefix: mysql
    database.include.list: inventory

在 OpenShift 控制台中,你会看到 debezium-cluster-kafka、debezium-connect-cluster、mysql 等 Pod 全部进入 Running 状态,Kafka Connect 构建任务(build-1)显示 Completed:

OpenShift控制台中debezium-example项目的Pod列表,Kafka、Zookeeper、Kafka Connect与MySQL容器全部运行正常

六、验证部署:亲眼看到变更事件

  1. 订阅 Kafka 主题 mysql.inventory.customers(用 quay.io/debezium/tooling 镜像中的 kcat 工具);
  2. 连接 MySQL,执行 update customers set first_name="Sally Marie" where id=1001;;
  3. 立刻在主题中看到包含 before / after 的 JSON 变更事件,"op": "u" 表示更新——变更数据捕获管道跑通了! 🎉

七、进阶路线:Debezium Operator 与 Debezium Server

如果你的目标不是 Kafka Connect,而是托管 Debezium Server 实例(支持多种 Source/Sink 直连管道),可以使用官方 Debezium Operator:通过 Helm 一键安装 Operator 后,只需声明一个 DebeziumServer 自定义资源,Operator 就会自动拉起对应的 CDC 管道,实现自动扩缩容、升级与健康检查:

apiVersion: debezium.io/v1alpha1
kind: DebeziumServer
metadata:
  name: my-debezium-server
spec:
  image: <debezium-server镜像>
  version: <版本>

Debezium Server在Kubernetes上的部署架构,由Debezium Operator托管并连接多种数据库与目标系统

八、OpenShift 最佳实践清单 ✅

实践 说明
📦 独立命名空间/项目 debezium-example 隔离工作负载,便于权限与配额管理
🔐 Secret + RBAC 最小授权 Role 仅授予单一 Secret 的 get 权限
🏗️ 声明式 CRD 部署 Kafka / KafkaConnect / KafkaConnector 全部 Git 化管理
🐳 利用内置镜像仓库 OpenShift 自带 registry,build.output.image 直接推送到集群内仓库
🔖 校验和校验 为插件产物配置 sha512sum,保障供应链安全
👀 就绪等待 kubectl wait kafka/... --for=condition=Ready 代替手动轮询

九、延伸学习资料 📚

跟着本文的六步走,你就拥有了一个生产级可用的 Debezium 变更数据捕获管道——数据库一动,事件即达。🚀

登录后查看全文
debezium