MicroK8s配置ECR私有镜像仓库认证的最佳实践

背景介绍

在使用MicroK8s部署容器化应用时，从AWS ECR(Elastic Container Registry)私有仓库拉取镜像是一个常见需求。由于ECR采用临时认证机制，传统的静态凭证方式不再适用，需要通过kubelet的镜像凭证提供程序(Image Credential Provider)功能实现动态认证。

核心配置步骤

1. 准备凭证提供程序二进制文件

首先需要获取ECR凭证提供程序的二进制文件。该程序由Kubernetes社区维护，负责与AWS API交互并获取临时凭证。建议从官方发布的稳定版本获取对应架构的二进制文件。

2. 配置凭证提供程序

在MicroK8s节点上创建配置文件/var/snap/microk8s/common/credential-provider-config.yaml，内容如下：

apiVersion: kubelet.config.k8s.io/v1
kind: CredentialProviderConfig
providers:
  - name: ecr-credential-provider
    apiVersion: credentialprovider.kubelet.k8s.io/v1
    matchImages:
      - "*.dkr.ecr.*.amazonaws.com"
    defaultCacheDuration: 12h

此配置告诉kubelet，当遇到匹配ECR域名模式的镜像时，使用指定的凭证提供程序获取认证信息。

3. 修改kubelet参数

编辑MicroK8s的kubelet配置文件/var/snap/microk8s/current/args/kubelet，添加以下参数：

--image-credential-provider-config=${SNAP_COMMON}/credential-provider-config.yaml
--image-credential-provider-bin-dir=/usr/local/bin/

注意：最佳实践是将二进制文件放在MicroK8s的${SNAP_COMMON}目录下，如${SNAP_COMMON}/bin，并相应调整--image-credential-provider-bin-dir参数指向该位置。

4. 测试凭证提供程序

在MicroK8s环境中测试凭证提供程序是否正常工作：

sudo snap run --shell microk8s.daemon-kubelite

echo '{
  "apiVersion": "credentialprovider.kubelet.k8s.io/v1",
  "kind": "CredentialProviderRequest",
  "image": "XXXXXXXXXXX.dkr.ecr.XXXX.amazonaws.com/repository/image"
}' | ${SNAP_COMMON}/bin/ecr-credential-provider

成功执行应返回包含临时凭证的JSON响应。

5. 重启MicroK8s服务

应用配置后，需要重启MicroK8s服务使更改生效：

sudo snap restart microk8s

认证方式选择

凭证提供程序支持两种AWS认证方式：

1. IAM实例配置文件：适用于运行在EC2实例上的MicroK8s节点，通过实例关联的IAM角色自动获取权限。

2. 访问密钥：通过传统的AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY环境变量或配置文件提供凭证。

常见问题排查

如果配置后仍无法拉取镜像，建议检查以下方面：

1. 确保凭证提供程序二进制具有可执行权限
2. 验证kubelet日志中是否有相关错误信息
3. 确认AWS权限设置正确，具有ECR拉取权限
4. 检查凭证提供程序配置文件路径是否正确

总结

通过合理配置MicroK8s的kubelet凭证提供程序，可以实现安全、自动化的ECR私有镜像拉取。这种方法相比静态凭证更安全，且能自动处理AWS临时凭证的刷新，是生产环境推荐的解决方案。