Multus-CNI 与 Calico VXLAN 模式下 Macvlan 网络问题的技术解析

背景介绍

在 Kubernetes 网络环境中，Multus-CNI 作为多网络接口管理插件，常被用于为 Pod 提供额外的网络接口。本文探讨的是在使用 Calico 作为主 CNI 并启用 VXLAN 封装模式时，通过 Multus 添加 Macvlan 网络接口所遇到的连通性问题。

环境配置

测试环境基于以下组件构建：

• Kubernetes 1.29.2 (k3s 发行版)
• Calico CNI 使用 VXLAN 封装模式
• Multus-CNI 0.3.1 版本
• Ubuntu Jammy 操作系统
• 双物理网卡配置（eth0 主网卡，eth1 带 VLAN 的 IoT 网卡）

网络配置中，Macvlan 被设置为使用 eth1 接口，IP 地址范围为 10.10.12.200-10.10.12.250/24。

问题现象

当 Pod 通过 Multus 添加 Macvlan 网络接口后，出现以下异常情况：

1. Pod 无法与 10.10.12.0/24 网段内其他设备通信
2. 主机端 tcpdump 可观察到出向 ICMP 请求，但无返回流量
3. 基础 Calico 网络（eth0）通信正常
4. 主机本身与 10.10.12.0/24 网段通信正常

排查过程

初步测试

通过 tcpdump 抓包分析发现：

• Pod 发出的 ICMP 请求能到达目标设备物理网卡
• 目标设备的响应报文未返回 Pod
• ARP 解析过程正常完成

替代方案尝试

1. 改用 host-device 模式：工作正常
2. 尝试 ipvlan 模式：同样失败
3. 调整 Calico 封装模式：
   • VXLANCrossSubnet：无效
   • IPIP：配合 BGP 后问题解决

深入分析

在 Proxmox 虚拟化层抓包显示：

• 出向报文 VLAN 标签和封装正确
• 目标设备收到请求并处理
• 返回路径可能因 Calico VXLAN 封装导致路由异常

根本原因

Calico 的 VXLAN 封装模式与 Macvlan 网络存在兼容性问题，具体表现为：

1. VXLAN 的 overlay 网络特性干扰了 Macvlan 的 L2 通信
2. 返回流量可能被 Calico 错误路由或丢弃
3. 网络策略处理流程可能导致非预期过滤

解决方案

经过验证的有效解决方法包括：

1. 将 Calico 切换至 IPIP 封装模式
2. 确保正确配置 BGP 路由
3. 作为替代方案，可使用 host-device 模式直接暴露物理接口

经验总结

1. 在 Multus 多网络方案中，主 CNI 的封装模式会显著影响附加网络的行为
2. VXLAN 适合 overlay 网络场景，但与某些 L2 网络方案存在兼容性问题
3. 生产环境中建议在测试环境充分验证不同网络模式的组合效果
4. 网络排查时需关注双向流量路径，特别是封装/解封装环节

后续建议

对于需要同时使用 Calico 和 Macvlan 的场景，建议：

1. 优先考虑 IPIP 封装模式
2. 必要时可评估其他主 CNI 方案
3. 保持 CNI 组件版本更新以获取最新兼容性改进
4. 复杂网络环境下应建立分层排查方法论