dae项目局域网SSH故障排查与解决方案

问题背景

在使用dae作为主路由的NixOS系统中，用户报告了一个网络通信异常问题：当配置了lan_interface参数后，局域网内部的SSH连接出现故障。具体表现为SSH握手过程中ACK包无法正常传输，导致连接建立失败。关闭dae或将其挂起后，SSH连接恢复正常。

技术分析

网络拓扑与环境

• 系统环境：NixOS 24.05 (Uakari)
• 内核版本：6.1.71
• dae版本：v0.5.0
• 网络配置：
  • 本机局域网IP：192.168.8.1/24
  • 使用br0作为LAN接口
  • 使用wan作为WAN接口

故障现象深度解析

通过抓包分析发现，在SSH握手过程中：

1. 客户端发送SYN包
2. 服务端响应SYN-ACK包
3. 但客户端无法收到ACK包完成三次握手
4. 观察到SYN-ACK包频繁重传

这种症状表明网络路径中存在数据包丢失或路由异常，特别是在本地网络通信中。

根本原因

经过深入排查，发现问题源于Linux内核的网络参数配置。具体来说：

1. dae在实现透明代理时，会设置特定的路由规则：

   ip route show table 2023
   local default dev lo scope host
   

   这条规则将所有流量重定向到本地回环接口(lo)。

2. 同时，系统启用了net.ipv4.conf.<interface>.src_valid_mark参数，这个参数会验证数据包的源标记(mark)，导致局域网内部通信被错误地重定向。

解决方案

推荐解决方案

修改系统内核参数，关闭特定接口的src_valid_mark验证：

sysctl -w net.ipv4.conf.<interface>.src_valid_mark=0

其中<interface>应替换为实际的网络接口名称(如br0)。

替代方案分析

1. 删除路由规则：

   ip rule delete fwmark 0x8000000/0x8000000 lookup 2023
   

   • 优点：立即恢复局域网通信
   • 缺点：破坏dae的透明代理功能

2. 修改dae源码： 移除lan_ingress assign中的skb->mark设置

   • 优点：保留基本路由功能
   • 缺点：影响LAN设备的外网访问

经测试，这两种替代方案都存在功能缺陷，因此不推荐使用。

技术原理详解

dae的透明代理机制

dae实现透明代理的核心技术包括：

1. 使用TPROXY标记特定数据包(0x8000000)
2. 设置专用路由表(2023)将标记流量重定向到本地
3. 通过netfilter规则实现流量拦截和转发

src_valid_mark的影响

src_valid_mark是Linux内核的一个网络参数，用于：

• 验证入站数据包的标记(mark)是否匹配接口配置
• 防止标记欺骗和路由混乱
• 在透明代理场景下可能导致合法流量被错误拦截

最佳实践建议

1. 部署前检查：

   • 确认系统内核参数配置
   • 测试局域网基础通信功能

2. 故障排查步骤：

   • 使用tcpdump进行抓包分析
   • 检查路由表和规则(ip route/ip rule)
   • 验证netfilter规则(nft list ruleset)

3. 性能考量：

   • 透明代理会增加系统负载
   • 复杂路由规则可能影响网络吞吐量

总结

本文详细分析了dae项目中由lan_interface配置引发的局域网SSH故障，揭示了Linux内核网络参数与透明代理机制的交互问题。通过调整src_valid_mark参数，可以在保留dae功能的同时恢复正常的局域网通信。这为使用类似透明代理解决方案的用户提供了有价值的参考案例。

对于网络功能复杂的系统，建议在部署前充分理解各组件的工作原理和相互影响，建立完善的测试和监控机制，确保网络服务的稳定性和可靠性。