Rusternetes 是如何通过 94% 的 Kubernetes 官方 e2e 一致性测试的?160 轮迭代完整复盘
Rusternetes 是如何通过 94% 的 Kubernetes 官方 e2e 一致性测试的?160 轮迭代完整复盘
Rusternetes 是一个用 Rust 从零实现的 Kubernetes,不是对 Go 代码库的包装,也不是部分模拟——API Server、Scheduler、Controller Manager、Kubelet、kube-proxy 全部重新手写。这个项目通过 Sonobuoy 跑 Kubernetes v1.35 官方 e2e 一致性测试套件(441 个测试),经过 160 轮迭代,最终在 Round 160 达到 415/441 通过(94.1%) 的最高分。
这篇文章完整复盘这条从 56% 爬到 94% 的曲线:测试是怎么跑的、修复循环如何运转、哪些 Bug 被修掉,以及剩下的 6% 卡在哪里。🎯
先看成绩单:160 轮迭代的通过率曲线
Rusternetes 用官方 Kubernetes conformance 测试套件(441 个测试)通过 Sonobuoy 对运行在 Docker Desktop 上的集群进行认证级一致性测试。成绩记录在 docs/CONFORMANCE.md 中,关键节点如下:
| 轮次 | 日期 | 通过/失败 | 通过率 | 备注 |
|---|---|---|---|---|
| Round 103 | 2026-03-10 | 245 / 196 | 56% | 初始基线 |
| Round 104 | 2026-03-14 | 405 / 36 | 92% | 一批重大修复上线 |
| Round 107 | 2026-03-23 | 422 / 19 | 96% | 会话期最佳部署结果 |
| Round 108 | 2026-03-27 | 263 / 178 | 60% | ⚠️ 回归(交互性 Bug) |
| Round 118 | 2026-04-01 | 299 / 142 | 68% | 主要修复全部部署 |
| Round 135 | 2026-04-11 | 373 / 68 | 84.6% | 当时的最高分 |
| Round 147 | 2026-04-16 | 398 / 43 | 90.2% | 31 项修复上线 |
| Round 160 | 2026-04-26 | 415 / 26 | 94.1% | 🏆 当前最高分 |
这张曲线有三个值得注意的信息:
- 跳跃来自"批量修复":Round 103 → 104 一口气从 56% 跳到 92%,因为一批修复集中部署;
- 回归是常态:Round 108 曾因"交互性 Bug"(修 A 弄坏了 B)从 96% 跌回 60%,一致性测试天然会暴露组件间的耦合问题;
- 整体是震荡上行的:从 56% 到 94.1%,累计 1,530+ 次提交、160 轮迭代。
一致性测试是怎么跑的
测试入口是一个脚本 scripts/run-conformance.sh,它完整覆盖一轮迭代的测试生命周期:
- 清理:杀掉残留的 Sonobuoy 进程,清除集群里的 sonobuoy 资源;
- 准备:给节点打上 Sonobuoy 要求的标签(
kubernetes.io/os、kubernetes.io/arch等),确认 CoreDNS 在跑; - 预拉镜像:
registry.k8s.io/conformance:v1.35.0等测试镜像; - 执行:
sonobuoy run --mode=certified-conformance,并以--kube-api-content-type=application/json强制 JSON 编码(因为 Rusternetes 不支持 client-go 默认的 protobuf); - 出报告:
sonobuoy retrieve+sonobuoy results输出通过/失败统计。
测试跑起来后,用 scripts/conformance-progress.sh 实时解析 e2e 容器日志,显示当前的 pass/fail 计数;完整的失败日志可以从 e2e 容器里拷出:
docker exec sonobuoy-e2e-job-*_e2e cat /tmp/sonobuoy/results/e2e.log | tail -50
上图是 Rusternetes 内置 Web 控制台的 Overview 页面——它被直接嵌入 API Server,无需单独安装,方便在每轮测试中观察集群状态。
核心方法论:5 步修复循环 + 批量部署
160 轮迭代能稳定爬升,靠的不是"改一个跑一轮",而是写进 docs/DEV_PROCESSES.md 的修复纪律:
- 分析:定位 e2e 日志中具体失败的测试和错误;
- 研究:对照 Kubernetes 官方源码,确认"正确的行为应该是什么"——重实现项目的金标准就是上游行为;
- 实现:写修复,并配上验证正确性的测试;
- 提交:
fix: ...格式的 commit,同步更新一致性跟踪表; - 攒批:修多个问题之前不要重新部署(batch them)——避免每改一处就跑一轮 441 测试的巨贵开销,也让"部署前不重建"成为铁律(重建会销毁测试证据)。
这套循环配合提交前的 make pre-commit(格式 + clippy + 测试),让每一轮部署都带着"一批已验证的修复"上线,这就是曲线上那些跳跃的来源。
修掉了哪些 Bug:四类典型案例
复盘这 160 轮,比较有代表性的缺陷分四类(更多细节见 docs/FIXES_SUMMARY.md):
1. 垃圾回收语义不完整(级联删除)
GC 最初的 foreground / orphan 删除模式只是桩实现。修复后(crates/controller-manager/src/controllers/garbage_collector.rs)支持完整的三种传播模式:background 立即删属主、foreground 先删依赖再删属主、orphan 摘除 ownerReferences 让依赖存活——这是 Kubernetes 删除语义的核心测试点。
2. 状态计数用了过期数据
多个控制器(DaemonSet、Job、ReplicaSet、StatefulSet、RC)在创建/删除 Pod 之前 就算好了 status 里的副本数,导致 status.active 等字段长期失真,进而击穿 autoscaling 和监控相关测试。修复模式统一为:操作完成后重新 list 并重新计数再写 status。
3. DaemonSet 根本不工作
测试 test_daemonset_creates_pod_per_node 期望 3 个节点上各有 1 个 Pod,实际是 0——控制器创建了 Pod 却从未设置 spec.nodeName,Pod 永远无法被调度。一行赋值(spec.node_name = Some(node_name))的修复,换来全部 8 个 DaemonSet 测试通过。
4. Watch 取消循环
Round 116 前后,watch 通道的取消逻辑缺陷导致测试大面积超时(通过率一度跌到 58%)。watch API 是 kubectl 和各类客户端的地基,修复涉及带界 watch 通道、bookmark 与 resource version 语义(docs/CONFORMANCE.md 中的 WatchCache 复用了同一套机制)。
上图是控制台的 Topology 视图,节点/Pod/Service 的实时拓扑加日志流,是排障 watch、endpoint 类问题时最常用的观察窗口。
94% 背后:哪些能力必须就位
一致性测试考的不是 CRUD,而是 API 语义的完整度。Rusternetes 实现了 60+ 资源类型(14 个 API 组)、31 个控制器,关键的 API 级特性包括(清单见 docs/CONFORMANCE.md):
- Server-Side Apply:字段管理器、冲突检测、字段所有权追踪;
- Watch API:bookmark、keep-alive、resource version 语义、WatchCache 多路复用;
- 三种 Patch 格式:Strategic Merge Patch、JSON Patch (RFC 6902)、JSON Merge Patch (RFC 7386);
- Subresources:status 与 scale 子资源;
- 准入控制:Mutating/Validating Webhook + ValidatingAdmissionPolicy(CEL 表达式);
- CRD 全套:schema 校验、status/scale 子资源、categories;
- Pod 操作:exec / attach / port-forward 走 WebSocket;
- Dry-run、字段/标签选择器、分页(limit/continue)、RBAC 鉴权、Finalizers。
性能侧同样做了针对性优化(无锁 etcd 访问、watch 驱动的 kubelet、单遍选择器过滤、LTO 编译等),因为很多 e2e 测试对延迟极其敏感。
上图的 Events 页面带事件频率直方图,每轮一致性测试后快速扫一眼事件流,往往比翻 e2e 日志更快定位"哪个环节在抖"。
剩下的 6% 卡在哪?
Round 160 还剩 26 个失败。参照 Round 147 的失败归类(43 个失败时的分布,见 docs/CONFORMANCE.md),难点集中在:
- Service 网络细节(会话保持、endpoint 时延、status 生命周期)——kube-proxy 的 iptables 规则要和真实行为逐毫秒对齐;
- Webhook 准入的边界场景(拒绝 CR CRUD、mutation 后剪枝、超时行为);
- CRD OpenAPI 发布(
/openapi/v2缺字段或x-kubernetes-group-version-kind); - EmptyDir 权限位:macOS Docker bind mount 不支持 0666/0777 模式位,属于环境问题;
- 节点生命周期长尾:preStop 钩子、WebSocket exec 的退出状态。
这些剩余失败多数是"最后一英里"级别的语义对齐,也是后续迭代的重点方向。
小结
Rusternetes 的 94% 不是某次大版本更新的结果,而是一个可复制的测试驱动重实现过程:
- 用官方 e2e 一致性套件当"验收标准",每轮 441 个测试全量跑;
- 对照上游源码修语义,而不是凑测试通过;
- 攒批部署,容忍短期回归,追踪长期趋势;
- 用内置控制台 + 实时进度脚本缩短"失败 → 定位"的回路。
如果你想本地跑一轮验证,完整流程见 docs/CONFORMANCE.md:
podman compose build && podman compose up -d
bash scripts/bootstrap-cluster.sh
bash scripts/run-conformance.sh
对"用别的语言重写 Kubernetes"这类项目来说,这份复盘给出的最重要启示是:一致性测试套件本身就是最好的需求文档——160 轮迭代中修掉的每一个 Bug,都是上游行为语义的一次精确抄写。


