Seldon Core 2 接入 AWS MSK 的 mTLS 认证完整指南:证书准备、Kubernetes Secret 与 Helm 配置
Seldon Core 2 接入 AWS MSK 的 mTLS 认证完整指南:证书准备、Kubernetes Secret 与 Helm 配置
导读
本文讲解如何让 Seldon Core 2 通过双向 TLS(mTLS) 认证接入 Amazon Managed Streaming for Apache Kafka(AWS MSK),实现 Kafka 消息通道的安全通信。你将掌握从 MSK 侧 ACL 授权、客户端证书与 broker 信任库导出、Kubernetes Secret 创建,到 Helm values 配置与故障排查的完整链路,可直接复制命令在真实集群中落地。
适用场景与前置条件
Seldon Core 2 支持与 AWS MSK 集成,目前官方支持 mTLS 认证,可运行在 AWS 内网或 AWS 外部的 Kubernetes 集群中。若你的 Kubernetes 集群运行在 AWS 之外,则必须为 MSK 集群开启 public access(公共端点),否则无法从集群访问 broker。
Kubernetes 集群(AWS 内 / 外) ── mTLS ──> AWS MSK 集群
seldon-mesh 命名空间 (public endpoint 若在 AWS 外)
在 MSK 侧配置 ACL:以证书 CommonName 作为用户
mTLS 认证的用户身份取自客户端证书的 CommonName(CN)。因此你需要先为计划使用的客户端证书的 CN 配置 Kafka ACL,允许其具备完整的 topic 访问、集群管理(按需创建 topic)以及 group 访问权限。
使用 AWS MSK 文档中描述的 mTLS 配置(client.properties),通过 kafka-acls.sh 依次执行以下三条命令:
# 允许 CN=myname 对所有 topic 执行全部操作
kafka-acls.sh --bootstrap-server <mTLS endpoint> --add --allow-principal User:CN=myname --operation All --topic '*' --command-config client.properties
# 允许该用户对集群执行管理操作(Seldon 需要按需创建 topic)
kafka-acls.sh --bootstrap-server <mTLS endpoint> --add --allow-principal User:CN=myname --operation All --cluster '*' --command-config client.properties
# 允许该用户访问全部 consumer group
kafka-acls.sh --bootstrap-server <mTLS endpoint> --add --allow-principal User:CN=myname --operation All --group '*' --command-config client.properties
注意:原文档中给出的三条命令的端点占位符(
<mTLS endpoint>、<nTLS endpoint>、<mTKS endpoint>)存在笔误,实际都应使用同一个 MSK mTLS bootstrap endpoint。
创建 TLS Kubernetes Secret
Seldon Core 2 通过 Kubernetes Secret 挂载证书,共需要两类 Secret。
客户端证书 Secret
创建客户端证书对应的 Secret。若你按照 AWS MSK mTLS 官方指南生成证书,通常需要从 JKS keystore 中导出私钥,证书与证书链在签发时以 PEM 格式提供。Secret 中需要包含三个键:
| Secret 键 | 内容 |
|---|---|
tls.key |
PEM 格式的私钥 |
tls.crt |
PEM 格式的客户端证书 |
ca.crt |
证书链(Certificate chain) |
kubectl create secret generic aws-msk-client \
--from-file=./tls.key \
--from-file=./tls.crt \
--from-file=./ca.crt \
-n seldon-mesh
Broker 证书(信任库)Secret
还需要将 Amazon 的 truststore 导出为 PEM 格式的 ca.crt,用于校验 broker 身份(单向的服务器身份验证)。若你已有 truststore.jks,可按如下流程提取证书:
# 1. 将 JKS 格式的 truststore 转换为 PKCS12
keytool -importkeystore -srckeystore truststore.jks \
-destkeystore truststore.p12 \
-srcstoretype jks \
-deststoretype pkcs12
# 2. 从 PKCS12 导出 PEM 格式的全部证书
openssl pkcs12 -in truststore.p12 -nodes -out trust.pem
# 3. 仅保留 CERTIFICATE 块,输出为 ca.crt
cat trust.pem | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ca.crt
将 ca.crt 写入 broker 校验用 Secret:
kubectl create secret generic aws-msk-broker-ca \
--from-file=./ca.crt \
-n seldon-mesh
仓库中还有对应的 Strimzi mTLS 示例,其中展示了通过
keyPath/crtPath/caPath/brokerCaPath自定义证书在容器内的挂载路径,可作为理解本配置结构的参考。
Helm 安装配置:SSL 协议与 Secret 引用
仓库在 k8s/samples/values-aws-msk-kafka-mtls.yaml.tmpl 提供了可直接扩展的模板:
# k8s/samples/values-aws-msk-kafka-mtls.yaml.tmpl
kafka:
bootstrap: <MSK Broker Endpoints>
security:
kafka:
protocol: SSL
ssl:
client:
secret: aws-msk-client
brokerValidationSecret: aws-msk-broker-ca
配置要点:
kafka.bootstrap:填写 MSK 的 broker endpoints(bootstrap servers),以逗号分隔多个端点。security.kafka.protocol:设为SSL,即启用 TLS 传输。security.kafka.ssl.client.secret:客户端证书 Secret 名(aws-msk-client)。security.kafka.ssl.client.brokerValidationSecret:broker 信任库 Secret 名(aws-msk-broker-ca)。
复制模板并填入 broker 端点后,使用 seldon-core-v2-setup Chart 安装(以 seldon-mesh 命名空间为例):
helm install seldon-v2 k8s/helm-charts/seldon-core-v2-setup/ -n seldon-mesh \
-f k8s/samples/values-aws-msk-kafka-mtls.yaml \
--set kafka.bootstrap=<your aws msk broker endpoints>
源码视角:Helm values 如何驱动 Kafka TLS
上述 values 并非魔法,它们会由 Helm Chart 渲染为各组件(pipelinegateway、modelgateway、dataflow 等)的环境变量与配置。从 部署模板 可以确认以下映射关系:
| Helm values | 注入的环境变量 |
|---|---|
security.kafka.protocol |
KAFKA_SECURITY_PROTOCOL |
security.kafka.ssl.client.secret |
KAFKA_CLIENT_TLS_SECRET_NAME |
security.kafka.ssl.client.brokerValidationSecret |
KAFKA_BROKER_TLS_SECRET_NAME |
security.kafka.ssl.client.keyPath |
KAFKA_CLIENT_TLS_KEY_LOCATION |
security.kafka.ssl.client.crtPath |
KAFKA_CLIENT_TLS_CRT_LOCATION |
security.kafka.ssl.client.caPath |
KAFKA_CLIENT_TLS_CA_LOCATION |
security.kafka.ssl.client.brokerCaPath |
KAFKA_BROKER_TLS_CA_LOCATION |
security.kafka.ssl.client.endpointIdentificationAlgorithm |
KAFKA_CLIENT_TLS_ENDPOINT_IDENTIFICATION_ALGORITHM |
这些环境变量随后由各 Go 组件(如 pipelinegateway 入口)读取:组件通过 kafka_config.NewKafkaConfig 加载挂载的 kafka.json 配置(其中包含 bootstrap.servers、topic 分区与副本数、debug 开关等),并结合 TLS 选项建立与 MSK 的安全连接。默认的证书挂载路径定义在 values.yaml 中(如 /tmp/certs/kafka/client/tls.key),仅当使用默认命名约定时才可省略。
故障排查:消息未产出与 min.insync.replicas
若出现消息未正常写入 topic 的情况,可按以下顺序排查:
- 优先参考 AWS MSK 官方排查指南。
- 开启 Kafka 调试日志:将 Kafka 配置的 debug 级别设为
all,Helm 安装时通过--set kafka.debug=all即可。从 部署模板 可见该值会写入kafkaConfig.debug字段(kafka.debug: '{{ .Values.kafka.debug }}'),传递给各 Kafka 客户端。 - 检查副本因子与
min.insync.replicas是否匹配:如果 Pipeline gateway 报出 producer 侧 "not enough insync replicas" 错误,说明 Seldon 使用的 replication factor 低于集群的min.insync.replicas设置——默认 AWS MSK 集群的min.insync.replicas为 2,而 values.yaml 中kafka.topics.replicationFactor的默认值是 1,两者必然冲突。
# 通过 Helm 将 topic 副本因子调整到与集群一致(例如 3)
helm install seldon-v2 k8s/helm-charts/seldon-core-v2-setup/ -n seldon-mesh \
-f k8s/samples/values-aws-msk-kafka-mtls.yaml \
--set kafka.bootstrap=<your aws msk broker endpoints> \
--set kafka.topics.replicationFactor=3
该值最终通过 KAFKA_DEFAULT_REPLICATION_FACTOR 环境变量注入 modelgateway,并写入 kafkaConfig.topics.replicationFactor,决定 Seldon 按需创建 topic 时的副本数。同理可调整 kafka.topics.numPartitions(默认 1)以匹配集群分区规划,相关参数同样见 values.yaml 的 kafka.topics 段。
与其它 Kafka 安全方案的对照
security.kafka.protocol 支持 PLAINTEXT、SSL 与 SASL_SSL 三种取值,本方案使用 SSL(mTLS)。若你的 MSK 集群采用 SASL/SCRAM 认证,可参考同目录下的 aws-msk-sasl.md,其使用 SASL_SSL + SCRAM-SHA-512,并将密码存放在 Secret 的 password 字段中。更多安全场景(Strimzi mTLS/SASL、Confluent SASL/OAuth、Azure Event Hub)见 安全总览。