k0s 架构解析:单二进制打包、控制平面进程监督与多后端存储设计
k0s 架构解析:单二进制打包、控制平面进程监督与多后端存储设计
k0s 是一个以"零摩擦 Kubernetes"(The Zero Friction Kubernetes)为目标的开源发行版,其最核心的架构理念是把整个 Kubernetes 控制平面打包进单一的自解压二进制文件,由 k0s 进程作为所有组件(kube-apiserver、etcd/kine、scheduler、controller-manager 等)的**进程监督器(process supervisor)**直接拉起并管理,控制节点默认不运行容器引擎与 kubelet。本文基于仓库中的 架构文档 展开,并结合 storage 配置定义、kine 组件实现、supervisor 实现 等源码,深入讲解 k0s 的打包方式、控制平面/工作节点进程模型、以及 etcd 与 kine 多后端存储机制,帮助读者理解 k0s 的部署形态并掌握存储相关的配置能力。
打包:单一自解压二进制
k0s 的发行形态是一个单一的自解压(self-extracting)二进制文件,其中内嵌了 Kubernetes 全部所需的二进制文件与资源,其优势包括:
- 静态编译:二进制本身静态链接,不依赖宿主机的动态库;
- 无 OS 级依赖:不依赖任何操作系统级别的运行库或组件;
- 无需 RPM、依赖、snap 等发行版专用打包:既不需要包管理器,也不需要系统服务模板以外的额外文件;
- 跨操作系统统一交付:同一个包面向所有支持的操作系统;
- 依赖版本完全可控:每个内嵌依赖(如 kube-apiserver、etcd、kine、containerd、runc 等)的版本都由 k0s 自身锁定,可整体审计与升级。
这一"全内嵌"策略在仓库中处处可见:例如 kine 组件在启动时通过 assets.StageExecutable(k.K0sVars.BinDir, "kine") 把内嵌的 kine 可执行文件释放到运行时目录再启动(见 pkg/component/controller/kine.go),etcd、kubelet、containerd 等组件均采用同样的内嵌释放模式;embedded-bins 目录则为 containerd、etcd、iptables、keepalived、kine、konnectivity、kubernetes、runc 各自维护了构建产物清单。
控制平面:k0s 作为进程监督器
作为单一二进制,k0s 进程自身承担了控制平面所有组件的进程监督(process supervision)职责。这意味着控制节点上默认没有容器引擎、也没有 kubelet,因此集群用户无法把工作负载调度到控制节点上。
使用 k0s,你可以创建、管理和配置上述每一个组件,并让它们以"裸进程"(naked process,即非容器化的宿主进程)方式直接运行。监督机制的底层实现位于 pkg/supervisor/supervisor.go:Supervisor 是一个"简单而直接"的进程监督器,在 while-true 循环中持续保活被监督的进程,支持 PID 文件、UID/GID、停止超时与重启超时、环境变量前缀保留(如 ETCD_xxx)等配置。控制平面各组件正是基于它实现的,例如:
- kube-apiserver:见 pkg/component/controller/apiserver.go;
- kine:见 pkg/component/controller/kine.go;
- etcd:见 pkg/component/controller/etcd.go;
- konnectivity-server:见 pkg/component/controller/konnectivity.go 与 pkg/component/controller/apiserver.go。
入口处 main.go 也印证了这种"单一入口、按需分发"的设计:当二进制被软链接为 kubectl 或 ctr 使用时,程序会自动把参数改写为 k0s kubectl ... / k0s ctr ...,让同一份内嵌的 kubectl、ctr 通过 k0s 命令暴露。
存储:etcd 之外的多后端支持
Kubernetes 控制平面通常只支持 etcd 作为唯一的持久化数据存储。k0s 通过内嵌 kine)。
配置结构:spec.storage
| 配置项 | 说明 |
|---|---|
type |
数据存储类型,合法值为 etcd 或 kine。注意:设为 etcd 时 k0s 会在控制节点内创建并管理一个 etcd 集群 |
etcd.peerAddress |
etcd 集群对等通信(peering)使用的节点地址 |
etcd.extraArgs |
以键值对形式传递给 etcd 进程的额外参数,优先于 rawArgs 使用;由此参数触发的行为不在 k0s 支持范围内 |
etcd.rawArgs |
追加在 extraArgs 之后的原始参数切片,不做任何校验 |
etcd.ca.expiresAfter |
etcd CA 证书的有效期(默认 87600h) |
etcd.ca.certificatesExpireAfter |
etcd 服务端证书的有效期(默认 8760h) |
etcd.externalCluster |
使用外部托管的 etcd 集群时的配置,见下文 |
kine.dataSource |
kine 数据源 URL |
kine.extraArgs |
以键值对形式传递给 kine 进程的额外参数,可覆盖 k0s 默认的 kine 参数 |
kine.rawArgs |
追加在 extraArgs 之后的原始参数切片,不做任何校验(默认空) |
完整的 spec.storage 定义可在 pkg/apis/k0s/v1beta1/storage.go 中查看:StorageSpec 由 Etcd、Kine 与 Type 三个字段构成,StorageType 通过 kubebuilder 校验仅允许 etcd 与 kine 两个枚举值(见 storage.go)。默认配置由 DefaultStorageSpec() 给出——即 type: etcd 配合默认 etcd 配置(见 storage.go);而 UnmarshalJSON 会在反序列化时自动注入默认值:当 type 为 kine 且未指定 kine 或 kine.dataSource 时,将自动补上默认的 SQLite 数据源(见 storage.go)。
k0s 托管的 etcd 集群
当 type: etcd 时,k0s 会管理 etcd 集群的完整生命周期。例如,使用 k0s controller "<long-join-token>" 加入一个新的控制节点时,k0s 会自动调整 etcd 集群的成员信息,使新成员能够加入集群(相关成员管理逻辑见 pkg/etcd/client.go)。
etcd 的默认 peering 地址由 DefaultEtcdConfig() 自动探测:优先取节点上第一个公网地址,探测失败时回退到 127.0.0.1(见 storage.go);对等通信 URL 固定为 https://<peerAddress>:2380(见 storage.go)。
注意:k0s 无法收缩(shrink)etcd 集群。因此,若要让某个节点上的 k0s controller 停机,必须先从 etcd 集群中手动移除该节点。
外部 etcd 集群(spec.storage.etcd.externalCluster)
k0s 也支持使用外部托管的 etcd 集群。一旦配置了该项,k0s 将不再自行部署 etcd,集群需由管理员手动维护。
| 配置项 | 说明 |
|---|---|
endpoints |
要使用的 etcd 端点数组 |
etcdPrefix |
本集群使用的键前缀。同一个外部 etcd 集群可同时服务于多个 k0s 集群,每个集群通过唯一前缀区分数据 |
caFile |
外部 etcd 集群 CA 证书的主机路径 |
clientCertFile |
etcd 客户端 TLS 证书的主机路径 |
clientKeyFile |
etcd 客户端 TLS 密钥的主机路径 |
对应结构体定义见 storage.go。校验逻辑(storage.go)要求:endpoints 非空且不含空字符串、etcdPrefix 非空;三个 TLS 字段(caFile、clientCertFile、clientKeyFile)要么全部定义、要么全部留空,不允许部分配置。
通过 kine 使用 SQLite / MySQL / PostgreSQL / dqlite
启用 kine 后端只需将 spec.storage.type 设为 kine 并指定数据源,例如:
spec:
storage:
type: kine
kine:
dataSource: sqlite:///var/lib/k0s/db/state.db?mode=rwc&_journal=WAL
kine 的默认数据源即 SQLite 数据库文件,位于数据目录下的 db/state.db,并以 WAL 日志模式打开:sqlite://<datadir>/db/state.db?mode=rwc&_journal=WAL(见 storage.go)。数据源格式为 <backend>://<dsn>,由 pkg/config/kine/datasource.go 中的 SplitDataSource 负责解析——注意它强调 kine 数据源"看起来像 URL 但并不是 URL",因此解析只用字符串切分;http/https 会被归一化为 etcd3 后端。
k0s 启动 kine 时(pkg/component/controller/kine.go)会传入以下默认参数,kine.extraArgs 中的同名项可覆盖它们:
--endpoint:kine.dataSource配置的数据源 URL;--listen-address:unix://<run-dir>/kine.sock,通过 Unix Socket 暴露给 kube-apiserver;--metrics-bind-address::2380(默认 8080 会与 kube-router 冲突,故改为 2380);--compact-interval:0(禁用自动压缩,避免与 k0s 的调度策略冲突)。
对于 SQLite 后端,kine 初始化时还会确保数据库目录存在并以 kine 用户(找不到用户时回退为 root,见 kine.go)拥有所有权;就绪检查(Ready())则通过 unix:// 直连的 etcd 兼容客户端对 kine 写入并回读 /k0s-health-check 键来确认数据面可用(见 kine.go)。
join 能力提示:并非所有存储后端都支持多控制节点加入。
StorageSpec.IsJoinable()(storage.go)显示:etcd 后端始终可 join(托管或外部均可通过网络连接);kine 后端则取决于数据源——SQLite 仅存在于本地文件系统,因此不可 join;嵌入式 NATS 也不可 join,只有noEmbed模式的 NATS 或其他可网络访问的后端(MySQL/PostgreSQL/dqlite 等)才支持多控制节点。
工作节点:kubelet 与容器运行时的组合
工作节点的架构与控制平面类似:k0s 同样以裸进程方式创建并管理核心工作组件。
默认情况下,k0s 工作节点使用 containerd。
小结与延伸阅读
k0s 的架构可以用三句话概括:一个静态、自解压的单一二进制内嵌全部 Kubernetes 组件;k0s 进程充当进程监督器,以裸进程方式拉起并保活控制平面(以及工作节点上的 kubelet 与 containerd),控制节点默认不承载工作负载;存储层通过内嵌 kine 扩展了 etcd 之外的多后端支持,同时完整管理自建 etcd 集群的生命周期。
继续深入本仓库可以关注:
- 架构文档与配套示意图:docs/architecture/index.md
- 存储配置详解与
spec.storage全部参数:docs/configuration.md - 存储结构体、默认值与校验逻辑:pkg/apis/k0s/v1beta1/storage.go
- kine 组件的启动参数与就绪检查:pkg/component/controller/kine.go
- kine 数据源解析:pkg/config/kine/datasource.go
- 进程监督器实现:pkg/supervisor/supervisor.go
- 内嵌组件构建清单:embedded-bins/


