OPNsense在KVM环境下创建快照时Zenarmor导致的问题分析

问题背景

在虚拟化环境中使用OPNsense作为防火墙时，许多管理员会选择在KVM虚拟化平台上运行。当需要创建虚拟机快照时，通常会使用libvirt工具链中的virsh snapshot-create命令，并希望使用--quiesce参数来确保文件系统一致性。然而，当OPNsense安装了Zenarmor插件后，这一操作会遇到问题。

问题现象

在安装了Zenarmor的OPNsense虚拟机上执行带有--quiesce参数的快照命令时，系统会报错：

error: internal error: unable to execute QEMU agent command 'guest-fsfreeze-freeze': failed to freeze /usr/local/zenarmor/output/active/temp: Resource deadlock avoided

这表明QEMU Guest Agent在尝试冻结文件系统时，在Zenarmor的临时目录处遇到了资源死锁问题。

技术分析

根本原因

Zenarmor使用了一个内存盘(ramdisk)来存储临时文件，路径为/usr/local/zenarmor/output/active/temp。当QEMU Guest Agent尝试冻结文件系统时：

1. 它会遍历所有挂载点并尝试冻结
2. 遇到内存盘时，由于内存盘本身的特性，冻结操作会导致资源死锁
3. 系统为防止死锁，主动拒绝该操作

解决方案探索

经过分析，可行的解决方案包括：

1. 修改QEMU Guest Agent配置：通过指定自定义的fsfreeze-hook脚本，在冻结前处理特殊挂载点
2. 临时卸载Zenarmor内存盘：在冻结前卸载内存盘，解冻后重新挂载
3. 暂停Zenarmor服务：确保在快照过程中Zenarmor不会产生新的数据

实施步骤

1. 修改QEMU Guest Agent配置

编辑/etc/rc.conf.d/qemu_guest_agent文件，添加自定义hook脚本路径：

qemu_guest_agent_flags="-d -l /var/log/qemu-ga.log -F/usr/local/etc/qemu/fsfreeze-hook"

2. 创建自定义hook脚本

在/usr/local/etc/qemu/fsfreeze-hook位置创建脚本，内容如下：

#!/bin/sh

LOG_FILE=/var/log/qemu-ga.log
ZENARMOR_RAMDISK="/dev/md43"
ZENARMOR_RAMDISK_MOUNTPOINT="/usr/local/zenarmor/output/active/temp"

log () {
    echo "$1" >> "${LOG_FILE}";
}

case "$1" in
    "freeze")
        log "开始冻结操作"
        if [ -d "${ZENARMOR_RAMDISK_MOUNTPOINT}" ]; then
            log "检测到Zenarmor安装，停止引擎"
            zenarmorctl engine stop >> "${LOG_FILE}" 2>&1
            umount "${ZENARMOR_RAMDISK_MOUNTPOINT}" >> "${LOG_FILE}" 2>&1
            sleep 1
        fi
        log "冻结操作完成"
        exit 0
        ;;
    "thaw")
        log "开始解冻操作"
        if [ -d "${ZENARMOR_RAMDISK_MOUNTPOINT}" ]; then
            log "检测到Zenarmor安装，启动引擎"
            mount "${ZENARMOR_RAMDISK}" "${ZENARMOR_RAMDISK_MOUNTPOINT}" >> "${LOG_FILE}" 2>&1
            zenarmorctl engine start >> "${LOG_FILE}" 2>&1
            sleep 1
        fi
        log "解冻操作完成"
        exit 0
        ;;
    *)
        log "无效参数，仅支持'freeze'或'thaw'"
        exit 1
        ;;
esac

3. 设置脚本权限

chmod +x /usr/local/etc/qemu/fsfreeze-hook

注意事项

1. QEMU Guest Agent问题：目前发现QEMU Guest Agent本身存在一些问题，可能会影响此解决方案的稳定性
2. 服务中断：在快照过程中，Zenarmor服务会有短暂中断
3. 日志记录：所有操作都会记录到/var/log/qemu-ga.log中，便于排查问题

总结

在KVM虚拟化环境中运行带有Zenarmor插件的OPNsense时，创建一致性快照需要特殊处理。通过自定义QEMU Guest Agent的fsfreeze-hook脚本，可以优雅地解决Zenarmor内存盘导致的冻结问题。这种解决方案虽然需要手动配置，但能确保快照过程的安全性和一致性。

对于生产环境，建议在实施前进行充分测试，并考虑快照过程中Zenarmor服务短暂中断对业务的影响。随着OPNsense和相关插件的更新，未来可能会有更优雅的官方解决方案出现。