KServe中配置私有Harbor仓库镜像拉取的解决方案

在使用KServe部署AI推理服务时，经常会遇到需要从私有Harbor仓库拉取容器镜像的场景。本文将详细介绍如何正确配置KServe以支持从私有Harbor仓库拉取镜像。

问题背景

当在KServe的InferenceService配置中指定了私有Harbor仓库的镜像地址时，Pod会因无法通过认证而出现"ErrImagePull"错误。错误信息通常显示为"pull access denied"或"no basic auth credentials"，这表明Kubernetes集群没有获取镜像所需的认证凭据。

解决方案

1. 创建Docker注册表Secret

首先需要在部署InferenceService的命名空间中创建一个docker-registry类型的Secret：

apiVersion: v1
kind: Secret
metadata:
  name: harbor-credential
  namespace: default
data:
  .dockerconfigjson: <base64编码的docker配置>
type: kubernetes.io/dockerconfigjson

其中.dockerconfigjson的值可以通过以下命令生成：

kubectl create secret docker-registry harbor-credential \
  --docker-server=harbor.ext.hp.com \
  --docker-username=<用户名> \
  --docker-password=<密码> \
  --docker-email=<邮箱> \
  --dry-run=client -o yaml

2. 在InferenceService中引用Secret

在InferenceService的transformer或predictor配置中，通过imagePullSecrets字段引用创建的Secret：

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: torch-grpc-transformer
spec:
  predictor:
    model:
      modelFormat:
        name: pytorch
      storageUri: gs://kfserving-examples/models/torchscript
      runtime: kserve-tritonserver
  transformer:
    containers:
    - image: harbor.ext.hp.com/onecloud-sol/infra-demo-itg:image-transformer-1.0
      name: kserve-container
    imagePullSecrets:
    - name: harbor-credential

实现原理

1. 认证机制：Kubernetes通过docker-registry类型的Secret存储私有仓库的认证信息，这些信息会被kubelet在拉取镜像时使用。

2. 镜像拉取流程：

   • kubelet读取Pod定义中的imagePullSecrets
   • 从指定Secret获取.dockerconfigjson
   • 使用其中的凭据向私有仓库发起认证请求
   • 认证通过后拉取镜像

3. 安全考虑：所有认证信息都以Secret形式存储，确保敏感信息不会以明文形式出现在配置文件中。

最佳实践

1. 命名空间隔离：建议在每个命名空间都创建对应的Secret，而不是使用default命名空间的Secret。

2. 权限最小化：为不同服务使用不同的仓库账号，限制每个账号只能访问必要的镜像仓库。

3. 自动刷新：定期更新Secret，特别是在密码或token有变更时。

4. 网络策略：确保Kubernetes节点能够访问私有Harbor仓库的网络端口。

常见问题排查

1. Secret未生效：检查Secret是否创建在与InferenceService相同的命名空间。

2. 认证失败：确认用户名密码是否正确，是否有仓库访问权限。

3. 网络问题：检查节点到Harbor仓库的网络连通性。

4. 证书问题：如果是HTTPS仓库且使用自签名证书，需要在节点上配置信任该证书。