MicroK8s在ARM64架构下启用GPU支持的技术实践

背景介绍

MicroK8s作为轻量级Kubernetes发行版，在边缘计算和云原生场景中广受欢迎。然而在ARM64架构（如AWS g5g.metal实例搭载的NVIDIA T4G显卡）上，默认情况下MicroK8s的GPU插件(gpu addon)并未启用。本文将详细介绍如何在ARM64架构上成功启用MicroK8s的GPU支持。

问题分析

MicroK8s的GPU插件默认仅针对AMD64架构进行测试和验证，因此在ARM64架构的实例上执行microk8s enable gpu命令时会返回"Addon gpu was not found in any repository"的错误提示。这并非功能不支持，而是出于稳定性考虑未默认开启。

解决方案

修改addons配置文件

通过编辑MicroK8s的核心插件配置文件，可以手动添加对ARM64架构的支持：

1. 使用文本编辑器打开配置文件：

sudo vim /var/snap/microk8s/common/addons/core/addons.yaml

2. 找到nvidia和gpu插件配置部分，在supported_architectures下添加arm64支持：

supported_architectures:
  - amd64
  - arm64  # 新增此行

3. 保存修改后，执行启用命令：

sudo microk8s enable gpu

验证GPU支持

启用成功后，可以使用NVIDIA提供的CUDA示例容器进行验证。需要注意的是，官方示例镜像k8s.gcr.io/cuda-vector-add:v0.1不提供ARM64架构版本，应改用NVIDIA官方提供的多架构镜像：

nvidia/samples:vectoradd-cuda11.6.0-ubuntu20.04

技术原理

MicroK8s的GPU插件实际上是基于NVIDIA GPU Operator实现的，该Operator会自动部署以下组件：

• NVIDIA设备插件
• DCGM监控组件
• GPU功能发现组件
• 容器运行时hook

在ARM64架构上，这些组件同样可以正常工作，前提是使用正确的ARM64架构镜像版本。

注意事项

1. 虽然技术上是可行的，但ARM64架构的GPU支持尚未经过MicroK8s官方CI的全面测试
2. 不同型号的NVIDIA ARM GPU可能有不同的兼容性表现
3. 生产环境使用前建议进行充分测试
4. 关注MicroK8s版本更新，未来可能会官方支持ARM64 GPU

总结

通过简单的配置修改，用户可以在ARM64架构的服务器上启用MicroK8s的GPU加速功能。这为边缘AI、ARM云原生应用等场景提供了更多可能性。随着ARM生态的不断发展，预计MicroK8s未来会正式支持ARM64架构的GPU加速功能。