Seldon Core 2 接入 AWS MSK 的 mTLS 认证完整指南:证书准备、Kubernetes Secret 与 Helm 配置

原创2026-10-14 10:09:011,769 阅读
文章标签:人工智能机器学习MLOpsLLMOps模型推理服务云原生容器编排微服务服务网格可观测性灰度发布后端

Seldon Core 2 接入 AWS MSK 的 mTLS 认证完整指南:证书准备、Kubernetes Secret 与 Helm 配置

导读

本文讲解如何让 Seldon Core 2 通过双向 TLS(mTLS) 认证接入 Amazon Managed Streaming for Apache Kafka(AWS MSK),实现 Kafka 消息通道的安全通信。你将掌握从 MSK 侧 ACL 授权、客户端证书与 broker 信任库导出、Kubernetes Secret 创建,到 Helm values 配置与故障排查的完整链路,可直接复制命令在真实集群中落地。

适用场景与前置条件

Seldon Core 2 支持与 AWS MSK 集成,目前官方支持 mTLS 认证,可运行在 AWS 内网或 AWS 外部的 Kubernetes 集群中。若你的 Kubernetes 集群运行在 AWS 之外,则必须为 MSK 集群开启 public access(公共端点),否则无法从集群访问 broker。

Kubernetes 集群(AWS 内 / 外) ── mTLS ──> AWS MSK 集群
  seldon-mesh 命名空间              (public endpoint 若在 AWS 外)

在 MSK 侧配置 ACL:以证书 CommonName 作为用户

mTLS 认证的用户身份取自客户端证书的 CommonName(CN)。因此你需要先为计划使用的客户端证书的 CN 配置 Kafka ACL,允许其具备完整的 topic 访问、集群管理(按需创建 topic)以及 group 访问权限。

使用 AWS MSK 文档中描述的 mTLS 配置(client.properties),通过 kafka-acls.sh 依次执行以下三条命令:

# 允许 CN=myname 对所有 topic 执行全部操作
kafka-acls.sh --bootstrap-server <mTLS endpoint> --add --allow-principal User:CN=myname --operation All --topic '*' --command-config client.properties

# 允许该用户对集群执行管理操作(Seldon 需要按需创建 topic)
kafka-acls.sh --bootstrap-server <mTLS endpoint> --add --allow-principal User:CN=myname --operation All --cluster '*' --command-config client.properties

# 允许该用户访问全部 consumer group
kafka-acls.sh --bootstrap-server <mTLS endpoint> --add --allow-principal User:CN=myname --operation All --group '*' --command-config client.properties

注意:原文档中给出的三条命令的端点占位符(<mTLS endpoint>、<nTLS endpoint>、<mTKS endpoint>)存在笔误,实际都应使用同一个 MSK mTLS bootstrap endpoint。

创建 TLS Kubernetes Secret

Seldon Core 2 通过 Kubernetes Secret 挂载证书,共需要两类 Secret。

客户端证书 Secret

创建客户端证书对应的 Secret。若你按照 AWS MSK mTLS 官方指南生成证书,通常需要从 JKS keystore 中导出私钥,证书与证书链在签发时以 PEM 格式提供。Secret 中需要包含三个键:

Secret 键 内容
tls.key PEM 格式的私钥
tls.crt PEM 格式的客户端证书
ca.crt 证书链(Certificate chain)
kubectl create secret generic aws-msk-client \
  --from-file=./tls.key \
  --from-file=./tls.crt \
  --from-file=./ca.crt \
  -n seldon-mesh

Broker 证书(信任库)Secret

还需要将 Amazon 的 truststore 导出为 PEM 格式的 ca.crt,用于校验 broker 身份(单向的服务器身份验证)。若你已有 truststore.jks,可按如下流程提取证书:

# 1. 将 JKS 格式的 truststore 转换为 PKCS12
keytool -importkeystore -srckeystore truststore.jks \
  -destkeystore truststore.p12 \
  -srcstoretype jks \
  -deststoretype pkcs12

# 2. 从 PKCS12 导出 PEM 格式的全部证书
openssl pkcs12 -in truststore.p12 -nodes -out trust.pem

# 3. 仅保留 CERTIFICATE 块,输出为 ca.crt
cat trust.pem | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ca.crt

将 ca.crt 写入 broker 校验用 Secret:

kubectl create secret generic aws-msk-broker-ca \
  --from-file=./ca.crt \
  -n seldon-mesh

仓库中还有对应的 Strimzi mTLS 示例,其中展示了通过 keyPath/crtPath/caPath/brokerCaPath 自定义证书在容器内的挂载路径,可作为理解本配置结构的参考。

Helm 安装配置:SSL 协议与 Secret 引用

仓库在 k8s/samples/values-aws-msk-kafka-mtls.yaml.tmpl 提供了可直接扩展的模板:

# k8s/samples/values-aws-msk-kafka-mtls.yaml.tmpl
kafka:
  bootstrap: <MSK Broker Endpoints>

security:
  kafka:
    protocol: SSL
    ssl:
      client:
        secret: aws-msk-client
        brokerValidationSecret: aws-msk-broker-ca

配置要点:

  • kafka.bootstrap:填写 MSK 的 broker endpoints(bootstrap servers),以逗号分隔多个端点。
  • security.kafka.protocol:设为 SSL,即启用 TLS 传输。
  • security.kafka.ssl.client.secret:客户端证书 Secret 名(aws-msk-client)。
  • security.kafka.ssl.client.brokerValidationSecret:broker 信任库 Secret 名(aws-msk-broker-ca)。

复制模板并填入 broker 端点后,使用 seldon-core-v2-setup Chart 安装(以 seldon-mesh 命名空间为例):

helm install seldon-v2 k8s/helm-charts/seldon-core-v2-setup/ -n seldon-mesh \
  -f k8s/samples/values-aws-msk-kafka-mtls.yaml \
  --set kafka.bootstrap=<your aws msk broker endpoints>

源码视角:Helm values 如何驱动 Kafka TLS

上述 values 并非魔法,它们会由 Helm Chart 渲染为各组件(pipelinegateway、modelgateway、dataflow 等)的环境变量与配置。从 部署模板 可以确认以下映射关系:

Helm values 注入的环境变量
security.kafka.protocol KAFKA_SECURITY_PROTOCOL
security.kafka.ssl.client.secret KAFKA_CLIENT_TLS_SECRET_NAME
security.kafka.ssl.client.brokerValidationSecret KAFKA_BROKER_TLS_SECRET_NAME
security.kafka.ssl.client.keyPath KAFKA_CLIENT_TLS_KEY_LOCATION
security.kafka.ssl.client.crtPath KAFKA_CLIENT_TLS_CRT_LOCATION
security.kafka.ssl.client.caPath KAFKA_CLIENT_TLS_CA_LOCATION
security.kafka.ssl.client.brokerCaPath KAFKA_BROKER_TLS_CA_LOCATION
security.kafka.ssl.client.endpointIdentificationAlgorithm KAFKA_CLIENT_TLS_ENDPOINT_IDENTIFICATION_ALGORITHM

这些环境变量随后由各 Go 组件(如 pipelinegateway 入口)读取:组件通过 kafka_config.NewKafkaConfig 加载挂载的 kafka.json 配置(其中包含 bootstrap.servers、topic 分区与副本数、debug 开关等),并结合 TLS 选项建立与 MSK 的安全连接。默认的证书挂载路径定义在 values.yaml 中(如 /tmp/certs/kafka/client/tls.key),仅当使用默认命名约定时才可省略。

故障排查:消息未产出与 min.insync.replicas

若出现消息未正常写入 topic 的情况,可按以下顺序排查:

  1. 优先参考 AWS MSK 官方排查指南。
  2. 开启 Kafka 调试日志:将 Kafka 配置的 debug 级别设为 all,Helm 安装时通过 --set kafka.debug=all 即可。从 部署模板 可见该值会写入 kafkaConfig.debug 字段(kafka.debug: '{{ .Values.kafka.debug }}'),传递给各 Kafka 客户端。
  3. 检查副本因子与 min.insync.replicas 是否匹配:如果 Pipeline gateway 报出 producer 侧 "not enough insync replicas" 错误,说明 Seldon 使用的 replication factor 低于集群的 min.insync.replicas 设置——默认 AWS MSK 集群的 min.insync.replicas 为 2,而 values.yaml 中 kafka.topics.replicationFactor 的默认值是 1,两者必然冲突。
# 通过 Helm 将 topic 副本因子调整到与集群一致(例如 3)
helm install seldon-v2 k8s/helm-charts/seldon-core-v2-setup/ -n seldon-mesh \
  -f k8s/samples/values-aws-msk-kafka-mtls.yaml \
  --set kafka.bootstrap=<your aws msk broker endpoints> \
  --set kafka.topics.replicationFactor=3

该值最终通过 KAFKA_DEFAULT_REPLICATION_FACTOR 环境变量注入 modelgateway,并写入 kafkaConfig.topics.replicationFactor,决定 Seldon 按需创建 topic 时的副本数。同理可调整 kafka.topics.numPartitions(默认 1)以匹配集群分区规划,相关参数同样见 values.yaml 的 kafka.topics 段。

与其它 Kafka 安全方案的对照

security.kafka.protocol 支持 PLAINTEXT、SSL 与 SASL_SSL 三种取值,本方案使用 SSL(mTLS)。若你的 MSK 集群采用 SASL/SCRAM 认证,可参考同目录下的 aws-msk-sasl.md,其使用 SASL_SSL + SCRAM-SHA-512,并将密码存放在 Secret 的 password 字段中。更多安全场景(Strimzi mTLS/SASL、Confluent SASL/OAuth、Azure Event Hub)见 安全总览。

登录后查看全文
seldon-core