Rusternetes 是如何通过 94% 的 Kubernetes 官方 e2e 一致性测试的?160 轮迭代完整复盘

原创2026-10-26 20:39:431,761 阅读

Rusternetes 是如何通过 94% 的 Kubernetes 官方 e2e 一致性测试的?160 轮迭代完整复盘

Rusternetes 是一个用 Rust 从零实现的 Kubernetes,不是对 Go 代码库的包装,也不是部分模拟——API Server、Scheduler、Controller Manager、Kubelet、kube-proxy 全部重新手写。这个项目通过 Sonobuoy 跑 Kubernetes v1.35 官方 e2e 一致性测试套件(441 个测试),经过 160 轮迭代,最终在 Round 160 达到 415/441 通过(94.1%) 的最高分。

这篇文章完整复盘这条从 56% 爬到 94% 的曲线:测试是怎么跑的、修复循环如何运转、哪些 Bug 被修掉,以及剩下的 6% 卡在哪里。🎯

先看成绩单:160 轮迭代的通过率曲线

Rusternetes 用官方 Kubernetes conformance 测试套件(441 个测试)通过 Sonobuoy 对运行在 Docker Desktop 上的集群进行认证级一致性测试。成绩记录在 docs/CONFORMANCE.md 中,关键节点如下:

轮次 日期 通过/失败 通过率 备注
Round 103 2026-03-10 245 / 196 56% 初始基线
Round 104 2026-03-14 405 / 36 92% 一批重大修复上线
Round 107 2026-03-23 422 / 19 96% 会话期最佳部署结果
Round 108 2026-03-27 263 / 178 60% ⚠️ 回归(交互性 Bug)
Round 118 2026-04-01 299 / 142 68% 主要修复全部部署
Round 135 2026-04-11 373 / 68 84.6% 当时的最高分
Round 147 2026-04-16 398 / 43 90.2% 31 项修复上线
Round 160 2026-04-26 415 / 26 94.1% 🏆 当前最高分

这张曲线有三个值得注意的信息:

  • 跳跃来自"批量修复":Round 103 → 104 一口气从 56% 跳到 92%,因为一批修复集中部署;
  • 回归是常态:Round 108 曾因"交互性 Bug"(修 A 弄坏了 B)从 96% 跌回 60%,一致性测试天然会暴露组件间的耦合问题;
  • 整体是震荡上行的:从 56% 到 94.1%,累计 1,530+ 次提交、160 轮迭代。

一致性测试是怎么跑的

测试入口是一个脚本 scripts/run-conformance.sh,它完整覆盖一轮迭代的测试生命周期:

  1. 清理:杀掉残留的 Sonobuoy 进程,清除集群里的 sonobuoy 资源;
  2. 准备:给节点打上 Sonobuoy 要求的标签(kubernetes.io/os、kubernetes.io/arch 等),确认 CoreDNS 在跑;
  3. 预拉镜像:registry.k8s.io/conformance:v1.35.0 等测试镜像;
  4. 执行:sonobuoy run --mode=certified-conformance,并以 --kube-api-content-type=application/json 强制 JSON 编码(因为 Rusternetes 不支持 client-go 默认的 protobuf);
  5. 出报告:sonobuoy retrieve + sonobuoy results 输出通过/失败统计。

测试跑起来后,用 scripts/conformance-progress.sh 实时解析 e2e 容器日志,显示当前的 pass/fail 计数;完整的失败日志可以从 e2e 容器里拷出:

docker exec sonobuoy-e2e-job-*_e2e cat /tmp/sonobuoy/results/e2e.log | tail -50

Rusternetes 集群总览控制台:健康环、Sparkline 图表与实时指标

上图是 Rusternetes 内置 Web 控制台的 Overview 页面——它被直接嵌入 API Server,无需单独安装,方便在每轮测试中观察集群状态。

核心方法论:5 步修复循环 + 批量部署

160 轮迭代能稳定爬升,靠的不是"改一个跑一轮",而是写进 docs/DEV_PROCESSES.md 的修复纪律:

  1. 分析:定位 e2e 日志中具体失败的测试和错误;
  2. 研究:对照 Kubernetes 官方源码,确认"正确的行为应该是什么"——重实现项目的金标准就是上游行为;
  3. 实现:写修复,并配上验证正确性的测试;
  4. 提交:fix: ... 格式的 commit,同步更新一致性跟踪表;
  5. 攒批:修多个问题之前不要重新部署(batch them)——避免每改一处就跑一轮 441 测试的巨贵开销,也让"部署前不重建"成为铁律(重建会销毁测试证据)。

这套循环配合提交前的 make pre-commit(格式 + clippy + 测试),让每一轮部署都带着"一批已验证的修复"上线,这就是曲线上那些跳跃的来源。

修掉了哪些 Bug:四类典型案例

复盘这 160 轮,比较有代表性的缺陷分四类(更多细节见 docs/FIXES_SUMMARY.md):

1. 垃圾回收语义不完整(级联删除)

GC 最初的 foreground / orphan 删除模式只是桩实现。修复后(crates/controller-manager/src/controllers/garbage_collector.rs)支持完整的三种传播模式:background 立即删属主、foreground 先删依赖再删属主、orphan 摘除 ownerReferences 让依赖存活——这是 Kubernetes 删除语义的核心测试点。

2. 状态计数用了过期数据

多个控制器(DaemonSet、Job、ReplicaSet、StatefulSet、RC)在创建/删除 Pod 之前 就算好了 status 里的副本数,导致 status.active 等字段长期失真,进而击穿 autoscaling 和监控相关测试。修复模式统一为:操作完成后重新 list 并重新计数再写 status。

3. DaemonSet 根本不工作

测试 test_daemonset_creates_pod_per_node 期望 3 个节点上各有 1 个 Pod,实际是 0——控制器创建了 Pod 却从未设置 spec.nodeName,Pod 永远无法被调度。一行赋值(spec.node_name = Some(node_name))的修复,换来全部 8 个 DaemonSet 测试通过。

4. Watch 取消循环

Round 116 前后,watch 通道的取消逻辑缺陷导致测试大面积超时(通过率一度跌到 58%)。watch API 是 kubectl 和各类客户端的地基,修复涉及带界 watch 通道、bookmark 与 resource version 语义(docs/CONFORMANCE.md 中的 WatchCache 复用了同一套机制)。

Rusternetes 集群拓扑控制台:节点、Pod、Service 的实时拓扑图与日志流

上图是控制台的 Topology 视图,节点/Pod/Service 的实时拓扑加日志流,是排障 watch、endpoint 类问题时最常用的观察窗口。

94% 背后:哪些能力必须就位

一致性测试考的不是 CRUD,而是 API 语义的完整度。Rusternetes 实现了 60+ 资源类型(14 个 API 组)、31 个控制器,关键的 API 级特性包括(清单见 docs/CONFORMANCE.md):

  • Server-Side Apply:字段管理器、冲突检测、字段所有权追踪;
  • Watch API:bookmark、keep-alive、resource version 语义、WatchCache 多路复用;
  • 三种 Patch 格式:Strategic Merge Patch、JSON Patch (RFC 6902)、JSON Merge Patch (RFC 7386);
  • Subresources:status 与 scale 子资源;
  • 准入控制:Mutating/Validating Webhook + ValidatingAdmissionPolicy(CEL 表达式);
  • CRD 全套:schema 校验、status/scale 子资源、categories;
  • Pod 操作:exec / attach / port-forward 走 WebSocket;
  • Dry-run、字段/标签选择器、分页(limit/continue)、RBAC 鉴权、Finalizers。

性能侧同样做了针对性优化(无锁 etcd 访问、watch 驱动的 kubelet、单遍选择器过滤、LTO 编译等),因为很多 e2e 测试对延迟极其敏感。

Rusternetes 事件控制台:集群事件频率直方图与类型/原因过滤

上图的 Events 页面带事件频率直方图,每轮一致性测试后快速扫一眼事件流,往往比翻 e2e 日志更快定位"哪个环节在抖"。

剩下的 6% 卡在哪?

Round 160 还剩 26 个失败。参照 Round 147 的失败归类(43 个失败时的分布,见 docs/CONFORMANCE.md),难点集中在:

  • Service 网络细节(会话保持、endpoint 时延、status 生命周期)——kube-proxy 的 iptables 规则要和真实行为逐毫秒对齐;
  • Webhook 准入的边界场景(拒绝 CR CRUD、mutation 后剪枝、超时行为);
  • CRD OpenAPI 发布(/openapi/v2 缺字段或 x-kubernetes-group-version-kind);
  • EmptyDir 权限位:macOS Docker bind mount 不支持 0666/0777 模式位,属于环境问题;
  • 节点生命周期长尾:preStop 钩子、WebSocket exec 的退出状态。

这些剩余失败多数是"最后一英里"级别的语义对齐,也是后续迭代的重点方向。

小结

Rusternetes 的 94% 不是某次大版本更新的结果,而是一个可复制的测试驱动重实现过程:

  1. 用官方 e2e 一致性套件当"验收标准",每轮 441 个测试全量跑;
  2. 对照上游源码修语义,而不是凑测试通过;
  3. 攒批部署,容忍短期回归,追踪长期趋势;
  4. 用内置控制台 + 实时进度脚本缩短"失败 → 定位"的回路。

如果你想本地跑一轮验证,完整流程见 docs/CONFORMANCE.md:

podman compose build && podman compose up -d
bash scripts/bootstrap-cluster.sh
bash scripts/run-conformance.sh

对"用别的语言重写 Kubernetes"这类项目来说,这份复盘给出的最重要启示是:一致性测试套件本身就是最好的需求文档——160 轮迭代中修掉的每一个 Bug,都是上游行为语义的一次精确抄写。

登录后查看全文
rusternetes