Kube-Hetzner项目中的TCP连接问题分析与解决方案

问题背景

在Kube-Hetzner项目中，用户报告了一个关于新创建集群中TCP连接失败的常见问题。具体表现为所有出站TCP连接都失败，错误信息显示为"TCP error 35 / Connection reset by peer"。这个问题特别影响需要与外部服务(如MS SQL和Azure Service Bus)通信的应用程序。

问题现象

用户观察到以下典型错误：

1. 连接MS SQL时出现错误：

Microsoft.Data.SqlClient.SqlException (0x80131904): A connection was successfully established with the server, but then an error occurred during the pre-login handshake. (provider: TCP Provider, error: 35 - An internal exception was caught)

2. 连接Azure Service Bus时出现错误：

Microsoft.Azure.ServiceBus.ServiceBusCommunicationException: Connection reset by peer ErrorCode: ConnectionReset

根本原因分析

经过深入调查，发现问题根源在于Kube-Hetzner项目的默认网络配置。项目默认启用了出站流量限制规则，这些规则会阻止集群节点与外部服务的正常通信。

具体来说，项目中默认配置了以下防火墙规则：

• 允许DNS查询(UDP 53端口)
• 允许NTP同步(UDP 123端口)
• 允许HTTP/HTTPS流量(TCP 80/443端口)
• 允许ICMP ping

其他所有出站流量默认被阻止，这导致了用户尝试连接SQL Server(通常使用1433端口)和Service Bus等非标准HTTP/HTTPS端口的服务时失败。

解决方案

针对这个问题，有以下几种解决方案：

方案一：完全禁用出站流量限制

在kube.tf配置文件中，将restrict_outbound_traffic参数设置为false：

restrict_outbound_traffic = false

这种方法最简单，但安全性最低，因为它允许所有出站流量。

方案二：自定义防火墙规则

通过extra_firewall_rules参数添加特定服务的出站规则。例如，要允许SQL Server连接：

extra_firewall_rules = [
  {
    description = "Allow SQL Server"
    direction = "out"
    protocol = "tcp"
    port = "1433"
    destination_ips = ["0.0.0.0/0", "::/0"]
  }
]

这种方法更精细，可以根据实际需要开放特定端口。

方案三：结合服务特定规则

对于像Azure Service Bus这样的服务，可能需要开放多个端口或特定IP范围。可以查阅服务文档获取确切的网络要求，然后配置相应的防火墙规则。

最佳实践建议

1. 最小权限原则：只开放必要的端口和协议，不要过度放宽限制。
2. 服务发现：在配置前，先确定所有依赖的外部服务及其网络要求。
3. 测试验证：在修改配置后，验证所有关键业务功能是否正常工作。
4. 文档记录：记录所有自定义的防火墙规则及其业务理由，便于后续维护。

技术深度解析

Kube-Hetzner项目默认启用出站限制是为了遵循安全最佳实践，即"默认拒绝"原则。这种设计可以防止潜在的安全风险，如：

• 恶意软件从集群内部发起攻击
• 数据外泄
• 未经授权的服务调用

然而，这种严格限制在实际部署中可能会影响正常业务功能，因此需要根据具体使用场景进行适当调整。

总结

Kube-Hetzner项目通过默认限制出站流量提供了更高的安全性，但这也可能导致一些服务连接问题。理解这一设计原理并根据实际业务需求进行适当配置，是平衡安全性与功能性的关键。通过本文提供的解决方案，用户可以灵活地调整网络策略，确保集群既能安全运行，又能满足业务需求。