XDP/TC 钩子零拷贝收包:Cilium 网络设备驱动优化的内核级玩法

原创2026-10-09 18:45:391,354 阅读
文章标签:云原生网络eBPF容器编排服务网格可观测性网络安全负载均衡多集群微服务

XDP/TC 钩子零拷贝收包:Cilium 网络设备驱动优化的内核级玩法

当容器网络走到万兆乃至百兆线速的临界点,瓶颈早已不在用户态转发进程,而在"包从网卡进入内核协议栈这一路到底发生了多少次内存拷贝"。传统收包路径里,驱动把 DMA 缓冲区中的原始报文层层搬运进 skb、穿过 netfilter 与路由子系统,每一次拷贝都在消耗 CPU 周期和 cache 带宽。Cilium 给出的答案是把 eBPF 程序直接塞进网卡驱动与流量控制(TC)层:在 XDP 钩子上以近乎"零拷贝"的方式完成收包与转发决策,在 TC 钩子上接管协议栈剩余工作,让"驱动优化"从厂商固件参数调优升级为可编程的内核级数据面定制。本文以 Cilium 源码为线索,拆解这套 XDP/TC 双钩子架构的分工、零拷贝收包的内核细节,以及它们最终换算成的业务收益。

XDP 与 TC:一个在驱动里,一个在协议栈门口

Linux 内核为 eBPF 提供了多个挂载点,位置越靠前,能做的事越少,但性能上限越高。Cilium 官方文档对这套钩子体系有清晰的定位说明(Documentation/network/ebpf/intro.rst):

  • XDP:BPF 程序在网卡驱动收到报文的最早时刻运行,"program runs directly on the packet data before any other processing can happen",适合做恶意流量过滤、DDoS 防护这类高频丢弃决策;
  • TC ingress/egress:同样挂在网络接口上,但在协议栈完成初步处理后、进入 L3 层之前运行,此时可以访问 skb 携带的大部分元数据,适合做本地节点处理——例如为 endpoint 应用 L3/L4 策略、把流量重定向到容器。

关键的一句是:"For network-facing devices the tc ingress hook can be coupled with above XDP hook."——Cilium 正是把这两个钩子级联使用:XDP 先做最快路径的裁决,剩下的合法流量再交给 TC 做精细化处理。

这种分工体现在源码里就是两套程序入口。XDP 一侧的入口在 bpf/bpf_xdp.c 的 cil_xdp_entry:先清理元数据、记录 trace id,然后进入 check_filters。整个 XDP 阶段只做三件事——校验以太网类型、按 enable_xdp_prefilter 配置执行 CIDR 预过滤(prefilter_v4/prefilter_v6 通过 LPM/HASH 映射直接丢包)、以及通过 tail call 进入 nodeport_lb4/nodeport_lb6 完成 NodePort/DSR 的转发决策:

__section_entry
int cil_xdp_entry(struct __ctx_buff *ctx)
{
	bpf_clear_meta(ctx);
	check_and_store_ip_trace_id(ctx);
	return check_filters(ctx);
}

TC 一侧的入口则是 bpf/bpf_host.c 中的 cil_from_netdev,源码注释明确写着它的挂载语义:from-netdev is attached as a tc ingress filter to one or more physical devices managed by Cilium (e.g., eth0)。这两个入口并非各自为政,而是通过一个精巧的"接力"机制衔接——XDP 处理完转发后,会把关键状态写进 skb 的 cb 区域,再通过 ctx_move_xfer 传递给 TC 阶段的 cil_from_netdev:

/* XFER_FLAGS that get transferred from XDP to SKB */
enum {
	XFER_PKT_NO_SVC		= (1 << 0),  /* Skip upper service handling. */
	XFER_UNUSED		= (1 << 1),
	XFER_PKT_SNAT_DONE	= (1 << 2),  /* SNAT is done */
};

这段定义位于 bpf/lib/common.h。在 bpf/bpf_host.c 的 cil_from_netdev 中,Cilium 读取这些 flag:如果 XDP 已经完成了服务负载均衡(XFER_PKT_NO_SVC),TC 阶段就通过 ctx_skip_nodeport_set 跳过重复的 service 处理;如果 XDP 已做完 SNAT(XFER_PKT_SNAT_DONE),TC 阶段就不再重复做地址转换。这套"XDP 粗筛 + TC 精处理"的接力协议,避免了两个钩子做重复劳动,是双钩子架构能同时拿到"低延迟"和"全功能"的根本原因。

零拷贝收包:在 page 帧上直接做决策

"零拷贝"这个词在 XDP 语境下有其精确含义:XDP 程序运行在驱动层的 xdp_rxq 上,数据仍以原始的 page 帧形式躺在 DMA 缓冲区里,还没有被包装成 skb,更没有被拷贝进协议栈的任何中间结构。Cilium 对 XDP 上下文的抽象(bpf/include/bpf/ctx/xdp.h)处处体现这一特性:

#define ctx_pull_data(ctx, ...)		do { /* Already linear. */ } while (0)

注释 "Already linear" 直白地说明了 XDP 收包路径的本质——报文在驱动层面就是线性的、完整的,根本不需要像 skb 路径那样调用 bpf_skb_pull_data 去把分片数据拉平。该头文件还把 XDP 的裁决动作映射为内核原语:CTX_ACT_OK -> XDP_PASS、CTX_ACT_DROP -> XDP_DROP、CTX_ACT_TX -> XDP_TX(仅 hairpin 场景)、CTX_ACT_REDIRECT -> XDP_REDIRECT。当 Cilium 的 XDP 程序决定把 NodePort 报文直接推回出端口时,ctx_redirect 会优先走 XDP_TX(同网卡回环),否则调用 bpf_redirect——报文在驱动层完成转发,一次都没有进入上层协议栈,自然也就没有 skb 分配与拷贝的开销。

XDP 阶段还允许做有限但高效的报文改写。比如 DSR(Direct Server Return)模式下需要在报文前插入封装头,bpf/include/bpf/ctx/xdp.h 中的 ctx_adjust_hroom 基于 xdp_adjust_head 实现,并针对 NodePort DSR 的各类封装(Geneve 50 字节、IPIP 20 字节、IP-opt 8/24 字节等)做了编译期校验——build_bug_on 确保非法长度在编译时就被拒绝。所有改写都直接作用于 page 帧上的数据,配合 l3_csum_replace/l4_csum_replace 的增量校验和更新,避免了整包重算校验和的昂贵操作。

值得强调的是 XDP 与 TC 的边界:XDP 的"零拷贝"优势只覆盖 XDP_PASS 之前的阶段。一旦报文被 XDP_PASS 放行,内核仍会为其构造 skb 继续走 TC 钩子——这是 Cilium 接受的设计取舍,因为 TC 阶段需要 skb 的元数据来做策略与身份映射。真正的"少拷贝"发生在更上游:在 eBPF 主机路由(Host Routing)开启时,Cilium 的 TC 程序直接把报文从物理设备重定向到容器的 veth,不再穿越主机命名空间的 netfilter 与路由表(Documentation/operations/performance/tuning.rst 明确列出其限制:与依赖 netfilter hook 的特性不兼容)。XDP 拿走"最快转发",TC 拿走"最省拷贝的本地投递",两者合起来构成了 Cilium 数据面的低拷贝主线。

从源码看挂载与模式选择:native 才是真正的驱动级玩法

"驱动级优化"是否成立,取决于 XDP 以什么模式挂载。Cilium 的 XDP 配置抽象(pkg/datapath/xdp/xdp.go)定义了四种模式:

  • native(xdpdrv):程序由网卡驱动直接执行,跑在硬中断/NAPI 上下文中,是真正的驱动级路径;
  • best-effort:优先 native,驱动不支持时自动回退到 generic;
  • testing-only(xdpgeneric):generic 模式,由内核在通用收包路径上模拟执行,仅用于测试;
  • disabled:默认值,完全关闭。

加载逻辑在 pkg/datapath/loader/xdp.go 中,入口符号被固定为 cil_xdp_entry。其中有几处非常体现"工程与内核搏斗"的细节:一是挂载时会对 BPF_F_XDP_HAS_FRAGS 标志和 attach 类型做四种排列组合重试(xdpPermutations),因为"设备 MTU 过大导致驱动要求带 frags 标志加载"这类问题无法静态探测,只能在 EINVAL 后逐个尝试;二是优先使用 bpf_link 挂载并 pin 到 bpffs,内核版本过老(< 5.7)或设备已被旧版本占用(EBUSY)时才回退到 netlink 方式;三是支持热更新——bpf.UpdateLink 能在不中断流量的前提下替换已挂载的程序。

要确认一套集群是否真的跑在驱动级路径上,官方文档给出的验证手段非常直接(Documentation/network/kubernetes/kubeproxy-free.rst):

$ kubectl -n kube-system exec ds/cilium -- cilium-dbg status --verbose | grep XDP
      XDP Acceleration:    Native

同时文档提醒了一个运维上容易踩的坑:XDP 层直接推回网卡的 NodePort 报文不会出现在 tcpdump 里(包探测点远晚于驱动层),排障时应改用 cilium monitor 或指标计数器。这是"零拷贝转发"带来的直接可观测性代价。

驱动级收益:从 NodePort 加速到 EDT 智能队列

把转发决策下沉到驱动层,最直接的业务收益是 NodePort/LoadBalancer 服务的转发容量提升。当报文后端位于远端节点时,XDP 可以在驱动层完成 nodeport_lb4 的 NAT 与重定向(bpf/bpf_xdp.c 中 tail_lb_ipv4 通过 tail call 调用 nodeport_lb4),报文不再"进栈再出栈",单节点转发能力随 CPU 开销下降而显著扩展(Documentation/operations/performance/tuning.rst)。文档给出的启用前提也很务实:内核 ≥ 4.19.57/5.1.16/5.2、驱动支持 native XDP(10G 以上网卡驱动大多支持,云上对应 SR-IOV 变体)、多网卡场景下全部设备都需支持 native,否则改用 best-effort 让不支持 XDP 的设备自动降级。

第二个收益点与"智能队列"直接相关:Cilium 的带宽管理器(Documentation/network/kubernetes/bandwidth-manager.rst)在物理设备上配置 MQ/FQ,用 EDT(Earliest Departure Time)算法对每个 Pod 的 egress 流量做精确限速,取代了基于 TBF 的传统 bandwidth CNI 插件——文档明确说后者"due to scalability concerns in particular for multi-queue network interfaces"不推荐使用。EDT 在 egress 侧为每个报文打上最早出发时间戳,由 FQ 队列按时间排序调度,天然适配多队列网卡;ingress 限速则用 eBPF 实现的 token bucket 完成。当带宽管理器与 eBPF 主机路由配合时,socket 与报文报文的关联可以一路保留到物理设备上的 FQ 队列,这也是 Pod 侧启用 BBR 拥塞控制的前提(需要内核 ≥ 5.18,Documentation/operations/performance/tuning.rst 提到 BBR 相对传统丢包型拥塞控制可把排队延迟降低约 25 倍)。

第三个收益点来自驱动层收包环境的"确定性"。文档建议关闭 irqbalance(它会在 CPU 间迁移 NIC 中断,导致延迟抖动)并把网卡中断 pin 到固定 CPU、把 CPU governor 设为 performance(Documentation/operations/performance/tuning.rst)。这些建议与 XDP 的设计哲学一脉相承:XDP 在 NAPI 软中断上下文中逐包执行,任何中断迁移或频率波动都会直接反映在转发延迟上。此外,BIG TCP 通过放宽 GSO/GRO 上限(IPv6 可达 192k 报文)减少栈遍历次数,同样是配合"低拷贝路径"降低每包固定开销的手段——Cilium 会按是否启用 BIG TCP 自动调整内核的 GSO/GRO 上限值。

取舍与边界:性能的每一分都来自内核更深处

把 Cilium 的这套方案放在一起看,它本质上是一次"性能预算再分配":XDP 在驱动层拿走了最容易批量丢弃/转发的报文,TC 在协议栈门口接管了需要元数据与策略的流量,而两者之间的状态接力(XFER_* flags)保证了没有重复计算。收益是可量化的——转发容量提升、延迟降低、每包 CPU 开销下降;代价同样清晰——需要驱动原生支持 XDP、需要新内核(frags 挂载、bpf_link、EDT/BBR 各有版本门槛)、排障手段要从 tcpdump 切换到 monitor。

这正是"驱动优化"这个词在 eBPF 时代的准确含义:不再靠厂商脚本调 ethtool 参数,而是把网络策略、负载均衡、限速逻辑编译成在驱动收包路径上执行的程序。Cilium 用一套双钩子级联的数据面证明了这件事在云原生场景下的可行性——从网卡 page 帧上的第一次裁决,到 veth 对端容器的最后一次投递,整条路径的每一跳都在内核的最深处完成。

![BPF 数据面调用链示意](https://raw.gitcode.com/GitHub_Trending/ci/cilium/raw/80d82e1f521ae6b70ebacd6ff7a6432bc538bbf8/Documentation/images/bpf_call.png?utm_source=gitcode_repo_files)

对读者而言,最值得带走的一条实践判断是:先确认 cilium-dbg status 里 "XDP Acceleration: Native" 与 "Host Routing" 的状态,再谈调优;XDP 加速解决的是"跨节点转发容量",eBPF 主机路由与带宽管理器解决的是"节点内投递效率与排队确定性",而 IRQ 亲和与 BIG TCP 解决的是"最后一公里的收包环境"。三者叠加,才是 Cilium 网络设备驱动优化的完整内核级玩法。

登录后查看全文
cilium