K3s中containerd镜像标签丢失问题的技术解析

问题现象

在使用K3s进行离线环境部署时，通过air-gap镜像tar文件导入的镜像会被自动标记为"pinned"状态。这些标记包括io.cattle.k3s.pinned=pinned和io.cri-containerd.pinned=pinned，目的是防止Kubelet的垃圾回收机制清理这些关键镜像。

然而，当K3s服务重启后，这些精心设置的标签会神秘消失，导致镜像保护机制失效。这种现象不仅发生在自动导入的镜像上，即使用户手动为镜像添加标签，在服务重启后同样会被清除。

深入分析

经过对K3s源代码的深入分析，发现这一现象实际上是K3s的预期行为设计。K3s在启动时会执行一个特殊的清理逻辑：

1. 首先移除镜像存储中所有带有K3s特定标签的"pinned"标记
2. 然后重新从images目录导入并重新标记所有镜像

这种设计背后的考虑是确保那些已经从磁盘上删除的"旧"镜像不会因为残留的pinned标记而继续占用存储空间。换句话说，K3s通过这种方式维护镜像与磁盘上源文件的一致性。

解决方案建议

对于需要长期保持pinned状态的镜像，有以下几种解决方案：

1. 保留原始tar文件：最简单的方法是不要删除/var/lib/rancher/k3s/agent/images目录下的原始tar文件。这样K3s每次重启时都会重新导入并标记这些镜像。

2. 使用私有镜像仓库：更专业的做法是搭建私有registry镜像仓库来托管这些关键镜像。这种方法不仅解决了标签问题，还提供了更好的镜像管理和版本控制能力。

3. 使用非K3s标签：如果只是需要防止垃圾回收，可以使用io.cri-containerd.pinned=pinned标签而不添加K3s特定的标签。这样K3s在启动时就不会移除这些标记。

技术实现细节

在K3s的containerd实现中，有一个专门的UnpinImages函数负责清理旧的pinned标记。这个函数会遍历所有镜像，只移除那些带有K3s特定标签的pinned标记，而保留其他标签。这种选择性处理确保了系统既有一定的灵活性，又能维持核心的镜像管理策略。

最佳实践

对于生产环境，建议采用私有镜像仓库的方案。这种方法不仅解决了标签持久化问题，还能带来以下额外优势：

• 更好的镜像版本管理
• 更高效的镜像分发机制
• 更灵活的访问控制
• 更可靠的镜像存储

对于测试或开发环境，保留原始tar文件可能是更简单直接的解决方案，但需要注意定期清理不再需要的旧版本镜像，以避免存储空间被无效占用。