Kiri 容器引擎在 Ubuntu 上与 Docker、Podman、nerdctl 等六大引擎的完整基准测试报告
Kiri 容器引擎在 Ubuntu 上与 Docker、Podman、nerdctl 等六大引擎的完整基准测试报告
本篇基于仓库内 Ubuntu 基准测试报告 展开:在同一台机器、同一会话内,用同一个 docker CLI 对 Kiri 与 Docker Engine、Podman、nerdctl、Colima、Docker Desktop 六个引擎做"热机"测量,覆盖容器启动、exec、双向 200 MB 传输、bind mount I/O、发布端口吞吐、镜像构建与拉取共 9 项指标。读完本篇,你将理解每项数字是怎么测出来的、哪些结论可靠哪些不可靠,以及如何用仓库自带脚本在自己的机器上完整复现。
一、测试环境:一台机器、一次会话、六个引擎
报告的前提是严格控制变量:
- 机器:一台 16 核 x86-64 PC,系统为 Ubuntu 24.04.4(作为 WSL 2 发行版运行,内核 6.6.87,32 GB 内存),测试期间无其他负载。报告特意强调这不是裸金属:测试脚本是纯 bash,原封不动可以在原生 Ubuntu 主机上重跑。
- 测量方式:所有计时都是 hyperfine 的中位数——延迟类跑 30 次、传输类跑 5 次、每项前有 3 次预热(warm-up)。原始 hyperfine JSON 不入库,只保留汇总结果。
- 统一入口:六个引擎都通过同一个 docker CLI(29.8.2)访问,只有 nerdctl 走自己的 CLI;所有引擎各自监听独立的 socket,互不干扰,测完即弃。
各引擎的具体版本与接入方式(这张表对复现至关重要,直接决定了 DOCKER_HOST 怎么设):
| 引擎 | 版本 | 接入方式 |
|---|---|---|
| Kiri | main @ 181dde4,Linux-host engine | kiri daemon,其 unix socket |
| Docker Engine | 29.9.2 static,containerd + runc | 独立 dockerd、独立 socket,不装服务 |
| Podman | 4.9.3,crun 1.14.1,rootful | podman system service,Docker API socket |
| nerdctl | 2.4.1,containerd 2.4.1,runc,CNI | nerdctl CLI,buildkitd 负责构建 |
| Colima | 0.10.3,QEMU VM 8 CPU / 8 GB,内含 dockerd 29.5.2 | 其 docker socket |
| Docker Desktop | 29.8.2,WSL 2 后端 | 其 WSL 集成 socket |
二、主结果表:9 项指标的中位数
| 引擎 | run --rm alpine true |
exec … true |
200 MB 容器→宿主 | 200 MB 宿主→容器 | 1 GB bind mount 写(fsync) | 1 GB bind mount 读 | 发布端口 iperf3 | build 3 层无缓存 |
pull alpine |
|---|---|---|---|---|---|---|---|---|---|
| Kiri | 188 ms | 187 ms | 209 MB/s | not valid (1) | 1467 MB/s | 3851 MB/s | 10.3 Gbit/s | 1113 ms | 2862 ms |
| Docker Engine | 697 ms | 224 ms | 56 MB/s | 129 MB/s | 819 MB/s | 1307 MB/s | 100.7 Gbit/s | 1723 ms | 2239 ms |
| Podman | 1105 ms | 274 ms | 70 MB/s | 121 MB/s | 593 MB/s | 907 MB/s | 51.9 Gbit/s | 1148 ms | 4921 ms |
| nerdctl | 631 ms | 57 ms | 72 MB/s | 131 MB/s | 845 MB/s | 1485 MB/s | 52.4 Gbit/s | 1211 ms | 1796 ms |
| Colima | 635 ms | 226 ms | 20 MB/s | 70 MB/s | 493 MB/s | 1496 MB/s | 0.8 Gbit/s | 2472 ms | 4418 ms |
| Docker Desktop | 714 ms | 224 ms | 114 MB/s | 143 MB/s | 826 MB/s | 1283 MB/s | 87.8 Gbit/s | 2008 ms | 2114 ms |
注 (1):宿主→容器的 stdin 传输当时不可引用——Kiri 的 guest agent 把待消费输入的上限设为 4 MiB,超出的部分被丢弃(见 agent.rs 中的
MAX_PENDING_INPUT),200 MB 管道输入实际只到达 1.2 MB。报告原话:修好流控之前这个数字没有意义。
为展示噪声水平,报告在同一会话里做了第二遍:Kiri 为 190 / 174 ms(run / exec)、204 MB/s、1226 / 4001 MB/s、9.4 Gbit/s、1131 ms(build);Docker Engine 为 664 / 201 ms、56 MB/s、737 / 1397 MB/s、102.1 Gbit/s、1558 ms。两遍之间差距很小,说明结论稳定而非单次运气。
三、结果解读:哪些结论可以下,哪些不能
报告专门用一节标题为 "What to say, and what not to"(该说与不该说的)来约束结论的边界,这是全文最值得一读的部分:
- 容器启动:Kiri 比 Docker Engine 快 3.4 倍、比 Podman 快 5.9 倍,且差距在多轮测量中稳定。作为对照,Windows 报告 中同一引擎的容器启动只要 78 ms。
- 容器→宿主流式传输:209 MB/s 约为 Docker Engine(56 MB/s)的 3.7 倍。
- bind mount I/O:写 1467 MB/s(Docker 819,1.8×)、读 3851 MB/s(Docker 1307,2.9×)。
docker build一个小 Dockerfile:Kiri 是六个引擎里最快的(1113 ms)。- 发布端口吞吐是 Kiri 当时唯一的短板:10.3 Gbit/s 对 Docker Engine 的 100.7 Gbit/s。原因是当时的 Kiri 在用户态中继(relay)发布端口,而 Docker 走 iptables DNAT。对 Web 应用无感,批量传输则会明显可见。
exec只是略快于 Docker(187 vs 224 ms),但比 nerdctl 慢 3 倍——nerdctl 直接对接 containerd,没有额外抽象层。pull alpine的差距是噪声:那是 Docker Hub 的网络时间,与引擎无关。- Colima 不参与公平比较:它是在 Linux 上测的 VM 引擎,"在这个平台上它本没有存在的必要",出现在表里只是因为有人要求测,不应作为横向结论依据。
为什么 stdin 当时"不可引用":从源码看 4 MiB 上限
这一条在源码里可以精确对上。协议层的发送窗口定义在 kiri-proto:
/// Stdin bytes the host may have sent a process beyond what the guest has
/// reported consumed (`InputConsumed`). The guest buffers at most this much
/// for a process that is not reading; the host blocks the client instead.
pub const INPUT_WINDOW: usize = 4 << 20; // 4 MiB
而 guest agent 侧的兜底上限是它的两倍(agent.rs):
const MAX_PENDING_INPUT: usize = 2 * kiri_proto::INPUT_WINDOW;
agent 处理 Input 帧时,一旦某个进程的待写输入超过这个上限,就清空缓冲区并直接关闭该进程的 stdin(agent.rs 输入处理):
if p.input.len() + data.len() > MAX_PENDING_INPUT {
p.input.clear();
p.run.stdin = None;
} else {
p.input.extend(data);
target = Some(fd);
}
注释写得很直白:这是给"行为失范的对端"准备的防线——正常的宿主应当被 4 MiB 流控窗口挡住,而不是让 agent 无限占用内存。2026-10-26 当天第一次测量时流控尚未实现,所以"先到达、容器还没来得及读"的数据在 4 MiB 窗口后被丢弃,wc -c 只数出 1.2 MB。测试脚本对这一点的防御值得注意:suite.sh 会先验证容器实际收到的字节数,只有等于 200000000 才对 stdin 计时,否则打印 stdin: container saw N of 200000000 bytes; not timed——这正是结果表里 "not valid (1)" 的来源。
四、剥离 CLI 干扰:只测引擎的 Docker API 延迟
上表所有 docker … 数字都包含 docker CLI 本身的进程启动成本。报告给出的关键背景是:在这台 WSL 发行版里,光 docker --version 就要 185–190 ms(同一台机器上 nerdctl --version 只要 16 ms)。因此 Kiri 在 CLI 侧的 run/exec 耗时约 95% 是 docker CLI 自己的开销——kiri exec 同样委托给 docker CLI,成本相同。
为了剥离这层噪声,api.sh 直接用 curl 打 Docker API:一次完整生命周期(create → start → wait → delete,4 次 curl 调用,含约 35 ms 的 curl+jq 进程开销)和一次 exec(2 次调用,约 19 ms 开销),hyperfine 中位数 30 次:
| 引擎 | lifecycle | exec |
|---|---|---|
| Kiri | 33–47 ms(引擎本体 ≈ 10 ms) | 17 ms(引擎 ≈ 1 ms;curl 在 101 升级时就返回) |
| Docker Engine | 531 ms | 50 ms |
| Podman | 1010 ms | 120 ms |
| Docker Desktop | 579 ms | 70 ms |
| Colima | 523 ms | 67 ms |
这张表的存在意义就是把"引擎有多快"和"CLI 有多慢"分开:Kiri 引擎本体一次完整容器生命周期约 10 ms 量级,exec 约 1 ms 量级。
五、两天修复之后的复测:stdin 与发布端口
同一台机器、同一天之后,分支 stdin-flow-control 落地了两项修复:
- stdin 信用窗口(credit window):agent 上报已消费字节数,宿主阻塞客户端,不再丢数据;
- Linux 宿主的发布端口改走内核转发:由 agent 安装 nftables DNAT 规则,用户态 relay 仅保留给
--network host目标和 Mac VM 场景。
两项修复前后各跑两遍 bench/suite.sh,完整数据如下(这是理解"修复影响面"的关键证据——大部分列没动,动的是该动的):
| before | after, pass 1 | after, pass 2 | |
|---|---|---|---|
| 200 MB 宿主→容器 | not valid,仅到 1.2 MB | 200 MB/s,全量字节 | 207 MB/s |
| 发布端口 iperf3 | 10.3 Gbit/s | 55.8 Gbit/s | 58.0 Gbit/s |
run --rm alpine true |
188 ms | 214 ms | 230 ms |
exec … true |
187 ms | 191 ms | 199 ms |
| 200 MB 容器→宿主 | 209 MB/s | 144 MB/s | 197 MB/s |
| bind 写 / 读 | 1467 / 3851 MB/s | 970 / 3142 MB/s | 883 / 3075 MB/s |
| API lifecycle / exec | 33–47 / 17 ms | 36 / 18 ms |
修复后的解读同样克制:
- stdin 成为六个引擎中最快(Docker Engine 为 129–163 MB/s)。
- 发布端口追平 Podman 与 nerdctl——三者走的是同一条内核 DNAT 路径。Docker Engine 在回环绑定上拿到的 100 Gbit/s,报告指出来自其 userland proxy 落在
lo上且 64 KiB MTU,并非 DNAT 之功;Kiri 的差距是"用户态 relay 对比内核转发"的差距,修复后消除。 - 其余列(run/exec/绑定盘 I/O)的波动在"当天噪声"之内——docker CLI 自身启动时间就有 130–200 ms 的波动;排除 CLI 的 API 级数字几乎没动(lifecycle 33–47 → 36 ms,exec 17 → 18 ms),说明这两项修复没有引入启动路径回归。
从源码看这两项修复是怎么实现的
stdin 信用窗口:协议 v3 新增了 InputConsumed 帧(kiri-proto 的注释明确说明:旧 agent 没有这帧会让客户端 stdin 在 4 MiB 后永久阻塞,因此宿主直接拒绝版本不匹配的 agent)。宿主侧的信用账本在 vmlink.rs:每个容器一个以 INPUT_WINDOW 为上限的信用池,reader 线程收到 InputConsumed { id, bytes } 就归还信用(wins.add),写 stdin 前先 take() 等待并扣除,池空即阻塞——这就是"agent 报告已消费字节、宿主阻塞客户端"的具体含义。
内核转发发布端口:Linux 宿主上 daemon 与容器共享内核,从源码结构看,规则表由 guest agent 通过原始 netlink 消息直接写入 nf_tables,不需要宿主机安装 ip 或 nft 二进制(netlink.rs)。核心规则形如:
[ip daddr <host_ip> | fib daddr type local ip daddr != 127.0.0.0/8]
<tcp|udp> dport <host_port> dnat to <to_ip>:<to_port>
其中 fib daddr type local 是 0.0.0.0 绑定的匹配方式(与 Docker 的做法一致),并额外排除 127.0.0.0/8——宿主自己的回环连接不走 DNAT,而是由 daemon 用 splice(2) 在用户态 relay,原因见 ports.rs 的注释:relay 会把一条流的负载拆到两个 CPU 上,纯 bridge 单 CPU 跑 loopback 时只能到 Docker 的一半速度。规则的安装与拆除入口是 install_nat_from / remove_nat:容器删除时整表 remove_nat(),"nothing of the engine is left in the host's network"。一个值得注意的环境差异:WSL2 的内核没有 nft_fib_ipv6(IPv4 的 nft_fib_ipv4 缺失时,代码会退化为逐地址匹配,net.rs),这正是该 WSL 环境下相关限制的实际来源。
修复后的实测验证也列在报告中:回环与全接口绑定(127.0.0.1 与 LAN 地址,63.8 Gbit/s)、UDP、HTTP 均通过;rm 后规则被移除;--restart=always 重启后发布端口自动重发布;--network host 目标仍走 relay,行为符合设计。
六、完整复现指南
工具依赖:hyperfine、fio、iperf3、jq。install-ubuntu.sh 负责在 Ubuntu 24.04 上装齐依赖与竞争引擎——注意它对每个二进制 tarball 都做 SHA-256 校验(fetch_verified),Docker Engine 用官方 static tarball 起独立 dockerd(不装服务)、nerdctl 用 nerdctl-full、Colima 用 lima + QEMU 并给普通用户加 kvm 组。
对每个引擎,通过 DOCKER_HOST(或 CLI)指定入口后运行 suite.sh:
# 工具:hyperfine、fio、iperf3、jq;各引擎独立 socket,见 install-ubuntu.sh
DOCKER_HOST=unix:///path/to/kiri/docker.sock bench/suite.sh kiri
DOCKER_HOST=unix:///run/dockerd-bench.sock bench/suite.sh docker-engine
DOCKER_HOST=unix:///run/podman-bench.sock bench/suite.sh podman
CLI=nerdctl bench/suite.sh nerdctl
bench/report.sh > table.md
可调环境变量(见 suite.sh 头部注释):CLI(默认 docker)、RUNS(默认 30)、OUT(默认 bench/results);传输项另有 RUNS_IO(默认 5)。suite.sh 的工作流程值得留意,它决定了你看到的数字里包含了什么:
- 先
pull alpine和pull networkstatic/iperf3,空跑 3 次run --rm alpine true做预热; - 起一个长驻容器
bench-$$(sleep 3600)专供 exec 测量; - 延迟项(run/exec)用
hyperfine -N --warmup 3 --runs 30; - 传输项:容器→宿主是
head -c 200000000 /dev/zero经 stdout;宿主→容器先做字节数校验,全量到达才计时; - bind mount 项用
dd bs=1M count=1024,写带conv=fsync(所以表头是"1 GB bind-mount write (fsync)"); - 网络项:容器内跑
iperf3 -s,宿主iperf3 -c 127.0.0.1 -p 15201 -t 5,jq取bits_per_second; - build 项是 3 层
RUN echo的最小 Dockerfile,--no-cache;pull 项先rmi -f alpine再拉; - 每项导出 hyperfine JSON 到
$OUT/<label>.<item>.json,汇总一行写进summary.txt。
report.sh 则把 $OUT/*.json 里的中位数(jq 取 .results[0].median)拼成 markdown 表,传输类换算成 MB/s。要测纯 API 延迟,再跑 api.sh(SOCK=... bench/api.sh <label>,curl 直连 socket,30 次取中位数)。
七、结论与适用前提
这份报告的价值,一半在数字本身,另一半在它对测量方法的坦诚:
- 适用前提:16 核 x86-64、Ubuntu 24.04.4(WSL 2 发行版,非裸金属)、内核 6.6.87、32 GB,2026-10-26 同一会话内完成;引擎版本固定为上表所列。WSL 发行版上 docker CLI 的 185–190 ms 启动开销会抬高所有 CLI 侧数字,跨机器或裸金属复现时,请以 API 级数字(
bench/api.sh)为主要比较口径。 - 可以下的结论:Kiri 在容器启动(≈3.4× Docker Engine)、容器→宿主流式输出、bind mount 读写、小型 Dockerfile 构建上显著领先;修复 stdin 流控与发布端口内核转发后,两项曾经的短板分别变为六引擎最快 stdin(≈200+ MB/s)和追平 Podman/nerdctl 的发布端口吞吐(≈56–58 Gbit/s)。
- 不该下的结论:
pull差距是网络噪声;Colima 一行不代表 VM 引擎的真实定位;Docker Engine 发布端口的 100 Gbit/s 有 userland proxy 在lo上的加成成分,Kiri 修复后的 56–58 Gbit/s 走的是与 Podman/nerdctl 相同的内核 DNAT 路径。
仓库内相关脚本均可直接查看复现细节:suite.sh、report.sh、api.sh、install-ubuntu.sh、Windows 侧对照 compare.ps1 与 compare.sh,以及 Windows 基准报告(其中还给出安全加固"零性能代价"的对照数据:run 191/206 → 189/189 ms,exec 182/176 → 170/172 ms,均在噪声内)。