Docker 27.4.0版本中的OpenTelemetry内存泄漏问题分析

问题背景

在Docker 27.4.0版本发布后，部分生产环境用户报告了Docker守护进程(dockerd)存在严重的内存泄漏问题。该问题表现为dockerd进程内存使用量持续增长，最终被系统的OOM Killer终止，导致服务中断。

问题现象

受影响的用户观察到以下典型症状：

1. dockerd进程内存占用呈线性增长
2. 每隔几小时就会被OOM Killer终止
3. 通过pprof工具分析发现内存主要被OpenTelemetry相关功能占用

内存分析报告显示，主要内存占用集中在以下几个函数：

• TraceRecorder.ExportSpans (73.15%)
• recordingSpan.interfaceArrayToEventArray (15.06%)
• recordingSpan.SetAttributes (11.49%)

问题根源

经过Docker核心开发团队分析，发现问题出在OpenTelemetry(OTEL)的跟踪功能实现上。具体表现为：

1. 即使没有配置OTEL导出端点(OTEL_EXPORTER_OTLP_ENDPOINT)，系统仍会为日志操作创建跟踪span
2. 这些span会持续累积而没有被正确清理
3. 在日志量大的环境中，这个问题会被显著放大

影响范围

该问题主要影响：

• Docker 27.4.0版本
• 使用json-file日志驱动且日志量大的环境
• 未显式配置OTEL导出的环境

值得注意的是，25.0和26.1版本不受此问题影响。

解决方案

Docker团队迅速响应并发布了修复方案：

1. 在PR#49078中修复了OTEL span的内存管理问题
2. 确保未配置OTEL导出时不创建不必要的span
3. 发布了27.4.1版本包含此修复

验证结果

用户升级到27.4.1版本后验证：

1. 内存使用曲线变得平稳
2. 不再出现OOM Kill情况
3. 可以安全重新启用json-file日志驱动

经验总结

这个案例提醒我们：

1. 监控系统在生产环境部署后的资源使用情况至关重要
2. 新引入的遥测功能需要特别关注其资源开销
3. 及时应用安全补丁和稳定版本更新

对于Docker用户，建议：

1. 尽快升级到27.4.1或更高版本
2. 监控dockerd的内存使用情况
3. 合理配置日志轮转策略(max-file和max-size参数)