OPNsense项目中pfsync与多队列网络接口的兼容性问题分析

问题现象描述

在OPNsense防火墙的高可用性(HA)集群环境中，当启用pfsync状态同步功能并同时开启网络接口的多队列(multiqueue)特性时，会出现TCP连接异常中断的现象。具体表现为：

• 约2-4%的TCP连接会无故中断
• 中断时连接速率直接降为零
• 问题仅出现在启用pfsync时
• 使用传统FreeBSD系统(voldemort 2.7.2)不会出现此问题

技术背景

pfsync工作机制

pfsync是FreeBSD系统中用于防火墙状态表同步的机制，它通过组播或单播方式在HA节点间同步连接状态信息。在OPNsense的HA部署中，这是保证故障切换时业务连续性的关键组件。

多队列网络接口

现代网卡支持的多队列技术可以将网络流量分散到不同的CPU核心处理，从而提高吞吐量。在虚拟化环境(如Proxmox VE)中，这个特性通过virtio驱动实现，可通过queues参数配置队列数量。

问题复现与验证

测试环境配置要点：

1. OPNsense 24.7.8版本
2. Proxmox VE 8.2.7虚拟化平台
3. 双节点HA配置，包含CARP VIP和pfsync同步
4. 使用curl持续下载测试连接稳定性

关键发现：

• 当设置queues=4时，连接中断率显著上升
• 增大到queues=8时问题更加严重
• 完全禁用多队列(queues=1)可解决问题
• 传统FreeBSD系统未实现多队列，因此无此问题

根本原因分析

初步判断问题源于pfsync状态同步与多队列报文处理的时序竞争。可能的情况包括：

1. 多队列导致报文乱序到达，影响状态机判断
2. 不同CPU核心处理的状态更新与pfsync同步存在延迟
3. 虚拟化环境中virtio驱动与FreeBSD网络栈的特定交互问题

解决方案与建议

临时解决方案

1. 在虚拟化配置中禁用多队列(移除queues参数)
2. 如业务允许，临时关闭pfsync功能

长期建议

1. 关注OPNsense后续版本更新
2. 在关键业务环境考虑使用物理网卡而非虚拟化环境
3. 如需使用虚拟化，建议测试SR-IOV等高级网络特性替代多队列

技术影响评估

该问题主要影响以下场景：

• 高吞吐量网络环境
• 长连接应用(如数据库、视频流)
• 容器化环境中的层更新操作

对于短连接业务(如HTTP请求)影响较小，但仍有约2-4%的错误率需要注意。

后续研究方向

建议社区进一步研究：

1. FreeBSD网络栈与多队列的深度兼容性
2. pfsync在虚拟化环境中的优化方案
3. 替代性的状态同步机制