CoreDNS中etcd插件连接泄漏问题分析与解决方案

问题背景

在CoreDNS使用etcd插件时，当CoreDNS配置发生变更触发重载(reload)操作时，会出现etcd客户端连接泄漏的问题。这个问题会导致CoreDNS进程持有的文件描述符数量持续增长，最终可能耗尽系统资源。

问题现象

当CoreDNS配置中包含etcd插件，并且通过修改Corefile触发重载时，可以观察到以下现象：

1. 进程打开的文件描述符数量(process_open_fds)指标持续上升
2. 旧的etcd客户端连接没有被正确释放
3. 每次重载都会创建新的etcd客户端连接，但旧的连接没有被关闭

问题分析

这个问题的根本原因在于CoreDNS的重载机制与etcd客户端生命周期管理的不匹配。当CoreDNS收到重载信号时：

1. 它会创建新的插件实例，包括新的etcd客户端
2. 但旧的插件实例没有被正确清理，导致其持有的etcd客户端连接保持打开状态
3. 每次重载都会重复这个过程，导致连接数持续增长

特别是在以下场景中问题尤为明显：

• 频繁修改Corefile配置
• 使用自动重载功能
• 监控系统显示文件描述符使用量持续上升

影响范围

这个问题会影响所有使用etcd插件作为后端存储的CoreDNS部署，特别是：

1. 使用动态服务发现的场景
2. 需要频繁更新DNS配置的环境
3. 大规模部署中，连接泄漏可能导致系统资源耗尽

解决方案

目前推荐的临时解决方案是：

1. 当需要更改etcd相关配置时，直接重启CoreDNS Pod/容器
2. 避免频繁触发重载操作

从代码层面来看，需要修改etcd插件的实现，确保在插件关闭时正确释放所有资源，包括：

1. 实现Close()方法，主动关闭etcd客户端连接
2. 在重载过程中确保旧实例的资源被正确清理
3. 添加连接泄漏检测和防护机制

最佳实践

对于生产环境，建议：

1. 监控CoreDNS的文件描述符使用情况
2. 对于etcd配置变更，采用滚动重启策略而非配置重载
3. 考虑使用更轻量级的替代方案，如文件插件，如果不需要etcd的动态能力
4. 定期检查并清理僵尸连接

总结

CoreDNS的etcd插件连接泄漏问题是一个典型的资源生命周期管理问题。在分布式系统中，正确处理连接和资源的创建与释放至关重要。用户在使用etcd插件时应当注意这个问题，并采取适当的预防措施，直到官方修复发布。