配置 Knative Kafka 资源(KafkaSource / Trigger / Subscription)的 KEDA 自动扩缩容

原创2026-10-14 22:03:271,627 阅读
文章标签:文档教程云原生

配置 Knative Kafka 资源(KafkaSource / Trigger / Subscription)的 KEDA 自动扩缩容

导读

Knative Eventing 中所有负责分发事件的 Apache Kafka 组件(KafkaSource、引用 Kafka Broker 的 Trigger、引用 KafkaChannel 的 Subscription)都支持使用 KEDA(Kubernetes Event-Driven Autoscaling)对其 dispatcher 数据平面进行自动扩缩容。本指南介绍如何通过修改 config-kafka-features ConfigMap 全局启用该功能,如何通过资源注解精细控制最小/最大副本数、轮询间隔、冷却周期与 Kafka 消费滞后阈值,以及如何针对单个资源关闭自动扩缩容,帮助管理员在 Knative Eventing 中为 Kafka 数据平面构建基于消息积压(lag)的弹性伸缩方案。

功能概述:Knative Kafka 组件与 KEDA

在 Knative Eventing 的 Kafka 生态中,存在多个负责"从 Kafka 读取事件并分发到下游"的数据平面组件:

  • KafkaSource:从已有的 Apache Kafka topic 读取消息,将消息作为 CloudEvents 通过 HTTP 发送到配置的 sink,并保证同一分区内消息顺序(见 KafkaSource 文档);
  • Kafka Broker:基于 Kafka 的 Broker 实现,其 Trigger 引用 Kafka Broker 并消费事件;
  • KafkaChannel:基于 Kafka 的 Channel 实现,其 Subscription 引用 KafkaChannel 并消费事件。

这些组件的 dispatcher 数据平面本质上都是 Kafka 消费者(consumer group 成员)。当 topic 分区数固定时,单个消费者实例的处理能力有限;当消息积压(lag)增大时,就需要水平扩展消费者副本数来提升吞吐,而这正是 KEDA 的典型应用场景。

根据 configuring-kafka-features.md 的说明,controller-autoscaler-keda 的值决定了 Knative Kafka dispatcher 组件是否使用 KEDA 进行自动扩缩容。在 Knative 的版本化文档体系中,该功能被标记为 Alpha 阶段特性(见 keda-configuration.md),生产环境使用前需充分评估。

一、全局启用 Kafka 组件的自动扩缩容

1.1 前提条件

在启用该功能之前,必须满足以下条件:

  1. 集群中已安装 KEDA。原文档明确指出"为了使该功能生效,你必须在集群中安装 KEDA"(见 keda-configuration.md)。Knative 侧只负责生成/维护 KEDA 的扩缩容对象,实际的扩缩容执行方是 KEDA 组件;
  2. 已安装 Knative Eventing 及其 Kafka 组件(KafkaSource、Kafka Broker、KafkaChannel 的 controller 与数据平面);
  3. 具备修改 knative-eventing 命名空间下 ConfigMap 的管理员权限(该文档 audience 为 administrator)。

1.2 修改 config-kafka-features ConfigMap

启用自动扩缩容的核心操作是修改 config-kafka-features ConfigMap,将 controller-autoscaler-keda 标志设置为 enabled:

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-kafka-features
  namespace: knative-eventing
data:
  controller-autoscaler-keda: enabled
  # other features and config options...

保存后应用该配置即可。根据 configuring-kafka-features.md 的说明:

  • 全局键(Global Key):controller-autoscaler-keda
  • 可选值:enabled、disabled
  • 默认值:disabled
  • 稳定性:Alpha

即该功能默认关闭,需要显式开启。

1.3 启用后的影响范围(重要)

启用该功能后,自动扩缩容会同时作用于所有符合条件的资源(见 keda-configuration.md):

  • 所有 KafkaSource
  • 所有引用 Kafka Broker 的 Trigger
  • 所有引用 KafkaChannel 的 Subscription

也就是说,这是一个全局开关,一旦开启,集群中现有的所有 KafkaSource、Trigger、Subscription 的 dispatcher 数据平面都会被纳入 KEDA 的自动扩缩容管理,而不是按资源逐个开启。如果只想对部分资源生效,需要结合后文的"禁用单个资源的自动扩缩容"注解进行组合控制。

1.4 相关引用入口

该功能在仓库中有多处交叉引用,便于读者对照理解:

此外,仓库的 eventing-autoscaler-keda.html 表明该功能由独立的 Go 模块(knative.dev/eventing-autoscaler-keda)承载实现,归属于 knative-extensions 组织。

二、为单个资源定制自动扩缩容参数

全局启用后,KEDA 会以默认参数对资源进行扩缩容。如果你希望针对某个具体的 KafkaSource、Trigger 或 Subscription 定制扩缩容行为(例如调整最大副本数、轮询频率、缩容冷却时间、触发扩容的 lag 阈值),可以通过在该资源上设置注解(annotations)实现。

2.1 注解完整示例

以下示例展示了 config-kafka-features 中定义的 KEDA 自动扩缩容注解(见 keda-configuration.md):

apiVersion: <eventing|messaging|sources>.knative.dev/v1
kind: <KafkaSource|Subscription|Trigger>
metadata:
  annotations:
    # The minimum number of replicas to scale down to
    autoscaling.eventing.knative.dev/min-scale: "0"
    # The maximum number of replicas to scale up to
    autoscaling.eventing.knative.dev/max-scale: "50"
    # The interval in seconds the autoscaler uses to poll metrics in order to inform its scaling decisions
    autoscaling.eventing.knative.dev/polling-interval: "10"
    # The period in seconds the autoscaler waits until it scales down
    autoscaling.eventing.knative.dev/cooldown-period: "30"
    # The lag that is used for scaling (1<->N)
    autoscaling.eventing.knative.dev/lag-threshold: "100"
    # The lag that is used for activation (0<->1)
    autoscaling.eventing.knative.dev: "0"
spec:
  # Spec fields for the resource...

注意其中 apiVersion 与 kind 需要根据资源类型替换为对应值:

资源类型 apiVersion kind
KafkaSource sources.knative.dev/v1(当前仓库文档标注 API 版本为 v1beta1,见 kafka-source/README.md) KafkaSource
Subscription messaging.knative.dev/v1 Subscription
Trigger eventing.knative.dev/v1 Trigger

2.2 注解参数逐项说明

注解 含义 示例值
autoscaling.eventing.knative.dev/min-scale 自动缩容的最小副本数,即缩容的下限(对应 KEDA 的 minReplicaCount) "0"
autoscaling.eventing.knative.dev/max-scale 自动扩容的最大副本数,即扩容的上限(对应 KEDA 的 maxReplicaCount),防止无限扩容压垮下游 "50"
autoscaling.eventing.knative.dev/polling-interval 自动扩缩容器轮询指标的时间间隔(秒),间隔越短对积压变化响应越快,但会增大指标查询压力 "10"
autoscaling.eventing.knative.dev/cooldown-period 自动扩缩容器在缩容前等待的冷却时间(秒),用于避免消息流量抖动导致频繁伸缩(对应 KEDA 的 cooldownPeriod) "30"
autoscaling.eventing.knative.dev/lag-threshold 用于 1 <-> N(副本数从 1 扩到 N)的消费滞后(lag)阈值:当所有分区累计的 lag 超过该阈值时触发扩容 "100"
autoscaling.eventing.knative.dev(键名为该注解前缀本身) 用于 0 <-> 1(副本数从 0 扩到 1)的激活 lag 阈值:当 lag 超过该值时将副本从 0 激活到 1(对应 KEDA 的 activationThreshold) "0"

需要特别说明的是两个 lag 阈值各自的作用阶段:

  • lag-threshold(autoscaling.eventing.knative.dev/lag-threshold)负责"运行期"的扩容:副本已存在时,若积压超过阈值,则向更大副本数(N)扩展;
  • 前缀注解本身(autoscaling.eventing.knative.dev)负责"激活期"的扩容:当 min-scale 设为 "0"、副本缩到 0 时,只有积压超过该激活阈值才会把副本数从 0 拉起为 1。

两者结合可以做到"无消息时零副本、有积压时快速拉起并按需扩展到 N",既节省资源又能应对突发流量。这也是 KEDA 基于 Kafka 消费组 lag 指标进行弹性伸缩的典型配置形态(KEDA 通过 Kafka 消费组的 kafka_consumer_lag 指标驱动扩缩容决策)。

2.3 注解的应用方式

将上述 YAML 保存为文件后执行:

kubectl apply -f <filename>.yaml

其中 <filename> 是你创建的 YAML 文件名。对于已存在的资源,也可以使用 kubectl annotate 命令增量添加注解,无需重建资源。

三、禁用单个资源的自动扩缩容

由于全局开关启用后会对所有 KafkaSource、Trigger、Subscription 生效,某些资源可能并不适合自动伸缩(例如关键任务型数据源希望保持固定副本数)。此时可以在该资源上设置 class 注解来关闭自动扩缩容(见 keda-configuration.md):

apiVersion: <eventing|messaging|sources>.knative.dev/v1
kind: <KafkaSource|Subscription|Trigger>
metadata:
  annotations:
    autoscaling.eventing.knative.dev/class: disabled
spec:
  # Spec fields for the resource...

autoscaling.eventing.knative.dev/class: disabled 会把该资源的扩缩容类标记为禁用,KEDA 将不再对该资源执行自动扩缩容,其 dispatcher 副本数恢复为手动管理。

对于 KafkaSource,仓库文档还提供了两种手动设置副本数的方式作为对照(见 kafka-source/README.md):

  • 命令行方式:
kubectl scale kafkasource -n <ns> <kafkasource-name> --replicas=<number-of-replicas> # e.g. 12 replicas for a topic with 12 partitions
  • GitOps 方式(在 spec 中添加 consumers 字段):
apiVersion: sources.knative.dev/v1
kind: KafkaSource
metadata:
  name: kafka-source
spec:
  consumerGroup: knative-group
  bootstrapServers:
  - my-cluster-kafka-bootstrap.kafka:9092
  consumers: 12    # Number of replicas
  topics:
  - knative-demo-topic
  sink:
    ref:
      apiVersion: serving.knative.dev/v1
      kind: Service
      name: event-display

Kafka 消费者属于同一个消费组时,分区会在组内成员间均分,因此当自动扩缩容被禁用时,应结合 topic 分区数手动规划副本数(例如 12 个分区对应 12 个副本)。

四、验证自动扩缩容生效

4.1 验证 KEDA 扩缩容对象

全局启用后,KEDA 会为纳入管理的资源创建 ScaledObject(或 ScaledJob)。可以通过以下命令检查:

kubectl get scaledobject -n <namespace>

如果看到与 KafkaSource / Trigger / Subscription 对应的 ScaledObject 已创建,说明自动扩缩容已接管该资源的副本管理。

4.2 制造积压验证扩容行为

  1. 向 Kafka topic 持续生产大量消息制造消费滞后(lag)。仓库文档给出了一个基于 Strimzi 的生产者示例(见 kafka-source/README.md):
kubectl -n kafka run kafka-producer -ti --image=strimzi/kafka:0.14.0-kafka-2.3.0 --rm=true --restart=Never -- bin/kafka-console-producer.sh --broker-list my-cluster-kafka-bootstrap:9092 --topic knative-demo-topic
  1. 观察数据平面副本数随 lag 变化的伸缩行为:
kubectl get deploy -n knative-eventing
# 或针对 KafkaSource:
kubectl get statefulset -n knative-eventing
  1. 验证事件是否正常分发到 sink。例如 KafkaSource 场景下查看下游 Serving Service 的日志(见 kafka-source/README.md):
kubectl logs --selector='serving.knative.dev/service=event-display' -c user-container

日志中会看到以 dev.knative.kafka.event 为 type 的 CloudEvents 输出。

五、注意事项与最佳实践

  1. 功能处于 Alpha 阶段:该特性被标记为 Alpha(见 keda-configuration.md 与 configuring-kafka-features.md),API 与行为可能在后续版本调整,生产环境接入需评估风险。

  2. 全局开关的副作用:controller-autoscaler-keda: enabled 一旦设置,会同时影响所有 KafkaSource、所有引用 Kafka Broker 的 Trigger、所有引用 KafkaChannel 的 Subscription(见 keda-configuration.md)。启用前应盘点集群中现有 Kafka 相关资源,避免意外扩缩容。

  3. KEDA 是硬性依赖:不安装 KEDA 时该功能无法工作(见 keda-configuration.md)。Knative 侧生成扩缩容对象,真正执行扩容/缩容、周期轮询指标的是 KEDA 组件本身。

  4. 合理设置 min-scale / max-scale 边界:min-scale 决定缩容下限(可为 0 以节省资源),max-scale 决定扩容上限(建议结合 topic 分区数设定,避免副本数超过分区数导致部分消费者空转)。

  5. 两个 lag 阈值分工明确:lag-threshold 控制 1→N 的扩容,前缀激活阈值控制 0→1 的激活。若消息量呈周期性波动,可适当调大 cooldown-period 抑制频繁伸缩,配合 polling-interval 平衡响应速度与指标查询开销。

  6. 手动与自动二选一:为资源设置 autoscaling.eventing.knative.dev/class: disabled 后,应通过 kubectl scale 或 spec 中的 consumers 字段手动管理副本数(见 kafka-source/README.md),不要同时进行手动与自动扩缩容,避免互相覆盖。

总结

通过 config-kafka-features ConfigMap 中的 controller-autoscaler-keda: enabled 全局开关,Knative Eventing 的 Kafka 数据平面(KafkaSource dispatcher、Kafka Broker/Trigger dispatcher、KafkaChannel/Subscription dispatcher)即可接入 KEDA 的基于 Kafka 消费组 lag 指标的自动扩缩容。在此基础上,使用 min-scale、max-scale、polling-interval、cooldown-period、lag-threshold 与激活阈值注解可以精细定制每个资源的伸缩行为,使用 class: disabled 注解可以针对特定资源关闭自动扩缩容。这一套配置组合为 Knative 事件驱动架构中的 Kafka 消费侧提供了"按积压弹性伸缩、空闲可缩至零副本"的实用方案。

登录后查看全文
docs